短期間でデータ活用プラットフォームが利用可能に!クラウドデータウェアハウスSnowflakeと連携する「Snowflakeアダプター」のご紹介

こんにちは!アステリアのショウジです。

2022年9月29日にASTERIA Warpの新しいアダプターが登場しました!その名も「Snowflakeアダプター」。

Snowflakeといえば、いま先進的なビジネスユーザーから注目を集めている「データクラウド」のSaaS製品です。「データクラウド」は、ひとことで言い換えると「クラウド版のデータウェアハウス(DWH)」。自社でサーバーを構築・運用することなく、短期間でデータ活用のプラットフォームを利用することができます。

そして、ASTERIA WarpのSnowflakeアダプターを利用すると、既存の社内システムや利用中のクラウドサービスとSnowflakeとのデータ連携を、ノーコードで手軽に実現できるようになります!

Snowflake連携イメージ

「Snowflake」連携アダプターご紹介

Snowflakeアダプターでは3種類のコンポーネントが使えます。

SnowflakeGetSnowflakeGet SnowflakeへSELECT文を発行して結果セットをストリームとして出力します。
SnowflakePutSnowflakePut Snowflakeのテーブルに対して更新を行います。
SnowflakeSQLCallSnowflakeSQLCall 任意のSQLの実行を行います。

SnowflakeアダプターではRDBのようにSQLでデータを処理する手段を提供しているため、基本的な使い方はRDB系(RDBGet、RDBPut、SQLCall)のコンポーネントと同じです。

それでは、早速アダプターを使ってみましょう。

Snowflakeへのデータ書き込み(その1:構造化データ)

CSVファイルのデータを読み込んで、「SnowflakePutコンポーネント」を利用しSnowflakeのテーブルに書き込むフローを作成してみます。

読み込むCSVデータは次の内容です。POSの売上実績データのイメージで作成しました。

読み込むCSVデータ

作成したフローは以下の通りです。通常のデータベースへデータを書き込む場合と同じような感覚でデータを連携することができますね。

Snowflakeへのデータ書き込みその1フロー

SnowflakeのGUIにてデータプレビューを確認すると、データが保存できたことがわかります。

Snowflakeへのデータ書き込みその1結果

Snowflakeへのデータ書き込み(その2:半構造化データ)

JSON形式のデータを読み込んで、「SnowflakeSQLCallコンポーネント」を利用しSnowflakeのテーブルに書き込むフローを作成してみます。SnowflakeではJSONやApache Parquetなどの「半構造化データ」をVARIANT型のフィールドに格納できるようになっています。

作成したフローは以下の通りです。ここではJSONデータをテキストファイルから読み込んで、SnowflakeのVARIANT型のフィールドへ書き込む内容としました。あわせて、作成日時をメタデータの位置づけで同じレコードに書き込むようにしています。

Snowflakeへのデータ過書き込みその2フロー

SnowflakeSQLCallコンポーネントは、次のように設定されています。

Snowflakeへのデータ書き込みその2(SQLCallのプロパティ)

これで、読み込んだJSONデータをVARIANT型のフィールド(JSONDATA)に保存しつつ、同じレコードにメタデータとして作成日時(CREATED_AT)を保存することができました。

Snowflakeへのデータ書き込みその2結果

Snowflakeからのデータ読み込み

「SnowflakeGetコンポーネント」を利用しSnowflakeに保存されているデータを読み込んで、Excelファイルに書き込むフローを作成してみます。読み込むデータは、Snowflakeへのデータ書き込み(その1)でデータを保存した、POSの売上実績データです。

作成したフローは以下の通りです。

Snowflakeへのデータ読み込みフロー

SnowflakeGetコンポーネントのSQLビルダーでは、このような設定にしました。

Snowflakeへのデータ読み込みSQLビルダー

結果、Excelファイルはこのようになりました。

Snowflakeへのデータ読み込みExcel出力結果

最後に

ASTERIA WarpのSnowflakeアダプターを利用すると、Snowflakeのウェアハウス内に作成したテーブルと、オンプレミスや他のクラウドにあるシステムとのデータ連携処理がノーコードで可能となります。今回ご紹介した例ではCSVファイルやExcelファイルとSnowflakeとの連携を実施していますが、データベースなどのオンプレミスに蓄積されたデータの活用や、kintoneのような各種クラウドサービスなどとの連携も同じような要領で実施できますよ。皆さんも是非活用してみてください。



クラウド版

手ぶら de ASTERIA Warp
体験 5日間を申し込んで
「Snowflakeアダプター」を試そう

サーバー準備の手間なくデータ連携ツール「ASTERIA Warp」の
全ての機能を5日間お試しいただけます。

今すぐ体験してみる 書籍の詳細についてはこちらをご覧ください。
基礎と実践 使い方マニュアル
著者:東海林 賢史

著者:
東海林 賢史

ASTERIA Warpのプリセールスエンジニア。システムエンジニアや情報システム部員としての経験を活かして、ASTERIA Warpをわかりやすくお伝えできるよう日々奮闘中です。

ASTERIA Warp 関連サイトのご紹介

X ASTERIA Warp Developer Network(ADN)サイト

技術情報をお探しの方

ASTERIA Warp Developer Network
(ADN)サイト

ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。

X ASTERIA Warpユーザーグループ(AUG)

ASTERIA Warpデベロッパーの方

ASTERIA Warp オンラインコミュニティ
ADN slack

ASTERIA Warpデベロッパー同士をつなげ、技術情報の共有やちょっとしたASTERIA Warpの疑問解決の場とすることを目的としたコミュニティです。

X ASTERIA Warpユーザーサイト

ASTERIA Warpユーザーの方

ASTERIA Warpユーザーサイト
Login

製品更新版や評価版のダウンロード、各種ドキュメントのご提供、また 技術的なお問合せもこちらで受付ています。

X ASTERIA Warpパートナーサイト

ASTERIA Warpパートナーの方

ASTERIA Warpパートナーサイト
Login

パートナーライセンスの発行や各種ドキュメントのご提供をしています。

ページ先頭へ