いま先進的なビジネスユーザーから注目を集めている”データクラウド”のSaaS製品である「Snowflake（スノーフレイク）」。クラウド型のデータウェアハウス（DWH）ですから、短期間でデータ活用のプラットフォームを利用開始することができ、自社でのサーバー構築・運用も必要ありません。
そのSnowflakeを用いたデータ活用をさらにスムーズにするのが「Snowflakeアダプター」です。このアダプターをお使いいただくと、ASTERIA Warpと接続できる100種類以上のデータソースとSnowflakeとのデータ連携を、ノーコードで実現することができます。
この記事では、ASTERIA WarpからSnowflakeへデータを書き込む場合の連携パターンを整理し、パターン別におすすめの方法をご紹介いたします。
Snowflakeへデータを書き込む方法やその際に検討すべき項目は、いくつかの軸で分類することができます。
それぞれどの方法を選択すべきかは要件をふまえた検討が必要ですが、ここではASTERIA Warpを利用してSnowflakeへのデータ連携（書き込み）をする場合に候補となる、3つのパターンについてご紹介します。
各エディションについては「製品ラインナップ・価格」ページでご確認ください。
それでは、各パターンについて詳しく見ていきましょう。
Snowflakeアダプターを利用するパターンです。
Snowflakeのほかには次のソフトウェアがあれば利用できます。
図：Snowflakeアダプターでの構成例
例えば、オンプレミスの共有フォルダを監視し、そのフォルダに作成されたCSVファイルをSnowflakeアダプターを利用してSnowflakeへ書き込む場合は、次のようなステップで実現可能です。
フロー作成方法の詳細はこちらの記事をご参照ください。
これはSnowflake社が提供しているコマンドラインツール「SnowSQL」を利用するパターンです。
Snowflakeのほかには次のソフトウェアがあれば利用できます。
図：SnowSQLでの構成例
例えば、オンプレミスの共有フォルダを監視し、そのフォルダに作成された大きなCSVファイルをこの方法でSnowflakeへ書き込む場合は、次のようなステップで実現可能です。
フロー作成方法の詳細はこちらの記事をご参照ください。
これは、Snowflake社が提供している「継続的データロード」の仕組みである「Snowpipe」を利用するパターンです。Snowflakeのほかには次のソフトウェアやサービスがあれば利用できます。
図：Amazon S3を利用する場合のSnowpipeでの構成例
例えば、オンプレミスの共有フォルダを監視し、そのフォルダに作成された大きなCSVファイルを、Amazon S3を経由してSnowpipeを用いてSnowflakeへ書き込む場合は、次のようなステップで実現可能です。
Amazon S3の環境設定やSnowpipeの設定の詳細は、ここでは割愛いたします。各社の提供されているドキュメント等をご参照ください。
なお、Snowpipeの設定ではAWS側の権限設定なども必要となります。そのため、筆者が検証した限りでは、他の2つの方法と比較して難易度が相対的に高く感じました。そのため、最初はパターン1か2でデータ連携を開始し、必要に応じて後からSnowpipeへ移行するような段階を踏むとスムーズに導入できるのではないかと考えています。
この記事ではSnowflakeへデータを書き込む方法を3種類ご紹介しました。
書き込むデータの容量や書き込み頻度によって最適な方法は異なりますが、どの方法もASTERIA Warpと組み合わせて実現することが可能です。
皆様のご検討の参考にしていただけましたら幸いです。
ASTERIA Warpのプロダクトマネージャー。システムエンジニアや情報システム部員としての経験も活かしながら、ASTERIA Warpをわかりやすくお伝えしていきます。
Related Posts
ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。
アステリア製品デベロッパー同士をつなげ、技術情報の共有やちょっとしたの疑問解決の場とすることを目的としたコミュニティです。
