こんにちは!アステリアのショウジです。
2022年9月29日にASTERIA Warpの新しいアダプターが登場しました!その名も「Snowflakeアダプター」。
Snowflakeといえば、いま先進的なビジネスユーザーから注目を集めている「データクラウド」のSaaS製品です。「データクラウド」は、ひとことで言い換えると「クラウド版のデータウェアハウス(DWH)」。自社でサーバーを構築・運用することなく、短期間でデータ活用のプラットフォームを利用することができます。
そして、ASTERIA WarpのSnowflakeアダプターを利用すると、既存の社内システムや利用中のクラウドサービスとSnowflakeとのデータ連携を、ノーコードで手軽に実現できるようになります!
目次
Snowflakeアダプターでは3種類のコンポーネントが使えます。
SnowflakeGet | SnowflakeへSELECT文を発行して結果セットをストリームとして出力します。 |
SnowflakePut | Snowflakeのテーブルに対して更新を行います。 |
SnowflakeSQLCall | 任意のSQLの実行を行います。 |
SnowflakeアダプターではRDBのようにSQLでデータを処理する手段を提供しているため、基本的な使い方はRDB系(RDBGet、RDBPut、SQLCall)のコンポーネントと同じです。
それでは、早速アダプターを使ってみましょう。
CSVファイルのデータを読み込んで、「SnowflakePutコンポーネント」を利用しSnowflakeのテーブルに書き込むフローを作成してみます。
読み込むCSVデータは次の内容です。POSの売上実績データのイメージで作成しました。
作成したフローは以下の通りです。通常のデータベースへデータを書き込む場合と同じような感覚でデータを連携することができますね。
SnowflakeのGUIにてデータプレビューを確認すると、データが保存できたことがわかります。
JSON形式のデータを読み込んで、「SnowflakeSQLCallコンポーネント」を利用しSnowflakeのテーブルに書き込むフローを作成してみます。SnowflakeではJSONやApache Parquetなどの「半構造化データ」をVARIANT型のフィールドに格納できるようになっています。
作成したフローは以下の通りです。ここではJSONデータをテキストファイルから読み込んで、SnowflakeのVARIANT型のフィールドへ書き込む内容としました。あわせて、作成日時をメタデータの位置づけで同じレコードに書き込むようにしています。
SnowflakeSQLCallコンポーネントは、次のように設定されています。
これで、読み込んだJSONデータをVARIANT型のフィールド(JSONDATA)に保存しつつ、同じレコードにメタデータとして作成日時(CREATED_AT)を保存することができました。
「SnowflakeGetコンポーネント」を利用しSnowflakeに保存されているデータを読み込んで、Excelファイルに書き込むフローを作成してみます。読み込むデータは、Snowflakeへのデータ書き込み(その1)でデータを保存した、POSの売上実績データです。
作成したフローは以下の通りです。
SnowflakeGetコンポーネントのSQLビルダーでは、このような設定にしました。
結果、Excelファイルはこのようになりました。
ASTERIA WarpのSnowflakeアダプターを利用すると、Snowflakeのウェアハウス内に作成したテーブルと、オンプレミスや他のクラウドにあるシステムとのデータ連携処理がノーコードで可能となります。今回ご紹介した例ではCSVファイルやExcelファイルとSnowflakeとの連携を実施していますが、データベースなどのオンプレミスに蓄積されたデータの活用や、kintoneのような各種クラウドサービスなどとの連携も同じような要領で実施できますよ。皆さんも是非活用してみてください。
ASTERIA Warpのプロダクトマネージャー。システムエンジニアや情報システム部員としての経験も活かしながら、ASTERIA Warpをわかりやすくお伝えしていきます。
Related Posts
ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。
アステリア製品デベロッパー同士をつなげ、技術情報の共有やちょっとしたの疑問解決の場とすることを目的としたコミュニティです。