SnowflakeとASTERIA Warpのデータ連携パターンを比較する【書き込み編】

snowflake書き込み編

Snowflakeとは

いま先進的なビジネスユーザーから注目を集めている”データクラウド”のSaaS製品である「Snowflake(スノーフレイク)」。クラウド型のデータウェアハウス(DWH)ですから、短期間でデータ活用のプラットフォームを利用開始することができ、自社でのサーバー構築・運用も必要ありません。

そのSnowflakeを用いたデータ活用をさらにスムーズにするのが「Snowflakeアダプター」です。このアダプターをお使いいただくと、ASTERIA Warpと接続できる100種類以上のデータソースとSnowflakeとのデータ連携を、ノーコードで実現することができます。

この記事では、ASTERIA WarpからSnowflakeへデータを書き込む場合の連携パターンを整理し、パターン別におすすめの方法をご紹介いたします。

Snowflakeと連携する3つのパターン

Snowflakeへデータを書き込む方法やその際に検討すべき項目は、いくつかの軸で分類することができます。

  • 実現手段
    ETLツールを活用するのか、プログラミングをするのか。
  • データ量
    一度に書き込むデータは、多いのか少ないのか。
  • 書き込み経路
    サーバーからSnowflakeへ直接書き込むのか、外部のクラウドストレージを経由して書き込むのか。

それぞれどの方法を選択すべきかは要件をふまえた検討が必要ですが、ここではASTERIA Warpを利用してSnowflakeへのデータ連携(書き込み)をする場合に候補となる、3つのパターンについてご紹介します。

  1. スモールスタートパターン
    一度に書き込むデータ量が少ない場合におすすめの方法です。メリットは、少量のデータに対して素早く動作する点があげられます。一方、大量のデータを書き込む場合には処理時間が長くなるなどの課題もあります。なお、このパターンはASTERIA WarpのCoreエディションを含むすべてのエディションでお使いいただけます。
  2. 大量データパターン
    一度に書き込むデータ量が多い場合におすすめの方法です。メリットは、大量のデータを書き込む場合でも性能の劣化が少ない点です。一方、処理開始時に多少のオーバーヘッドがあるため少量のデータではスモールスタートパターンより処理に時間がかかる場合があるという点はデメリットになります。なお、このパターンはEXEコンポーネントを利用するため、ASTERIA Warp Standardエディション以上でお使いいただけます。
  3. Snowpipeパターン
    継続的にデータを書き込む場合におすすめの方法です。クラウドストレージサービスと組み合わせて利用する必要があるため、設定の難易度が上がる点には注意が必要ですが、すでにクラウドストレージサービスを利用している場合はシステム構成をシンプルにできる可能性があります。

各エディションについては「製品ラインナップ・価格」ページでご確認ください。

それでは、各パターンについて詳しく見ていきましょう。

1. スモールスタートパターン

Snowflakeアダプターを利用するパターンです。
Snowflakeのほかには次のソフトウェアがあれば利用できます。

  • ASTERIA Warp(Coreを含む全てのエディション)
  • Snowflakeアダプター

Snowflakeへ書き込み図:Snowflakeアダプターでの構成例

例えば、オンプレミスの共有フォルダを監視し、そのフォルダに作成されたCSVファイルをSnowflakeアダプターを利用してSnowflakeへ書き込む場合は、次のようなステップで実現可能です。

  1. ASTERIA Warpをセットアップする
  2. Snowflakeアダプターをセットアップする
  3. フローを作成し、実行する

作成されたSnowflake書き込みフロー図

フロー作成方法の詳細はこちらの記事をご参照ください。

2. 大容量データパターン

これはSnowflake社が提供しているコマンドラインツール「SnowSQL」を利用するパターンです。
Snowflakeのほかには次のソフトウェアがあれば利用できます。

  • SnowSQL
  • ASTERIA Warp(Standardエディション以上)

SnowSQLを使ってファイル取得・Snowflakeへ書き込み図:SnowSQLでの構成例

例えば、オンプレミスの共有フォルダを監視し、そのフォルダに作成された大きなCSVファイルをこの方法でSnowflakeへ書き込む場合は、次のようなステップで実現可能です。

  1. ASTERIA Warpをセットアップする
  2. ASTERIA Warpサーバーの中にSnowSQLをセットアップする
  3. フローを作成し、実行する

作成されたSnowSQLを使った書き込みフロー図

フロー作成方法の詳細はこちらの記事をご参照ください。

3. Snowpipeパターン

これは、Snowflake社が提供している「継続的データロード」の仕組みである「Snowpipe」を利用するパターンです。Snowflakeのほかには次のソフトウェアやサービスがあれば利用できます。

  • クラウドストレージサービス
    Amazon S3, Google Cloud Storage, Microsoft Azure Blobストレージ等
    ※SnowpipeとASTERIA Warpが対応しているサービスのうちいずれかをご利用ください。
    ※Snowpipeが対応しているクラウドストレージサービスの詳細はSnowflake社のサイトでご確認ください。
  • ASTERIA Warp(Coreを含む全てのエディション)
  • 利用するクラウドストレージサービスと連携するためのアダプター
    Amazon Web Servicesアダプター
    GCSアダプター
    Microsoft Azureアダプター

Snowpipeを使ってファイル取得・Snowflakeへ書き込み図:Amazon S3を利用する場合のSnowpipeでの構成例

例えば、オンプレミスの共有フォルダを監視し、そのフォルダに作成された大きなCSVファイルを、Amazon S3を経由してSnowpipeを用いてSnowflakeへ書き込む場合は、次のようなステップで実現可能です。

  1. Amazon S3の環境を用意する
  2. Snowpipeの設定を実施する
  3. ASTERIA Warpをセットアップする
  4. Amazon Web Servicesアダプターをセットアップする
  5. フローを作成し、実行する

作成されたSnowpipeを使った書き込みフロー図

Amazon S3の環境設定やSnowpipeの設定の詳細は、ここでは割愛いたします。各社の提供されているドキュメント等をご参照ください。

なお、Snowpipeの設定ではAWS側の権限設定なども必要となります。そのため、筆者が検証した限りでは、他の2つの方法と比較して難易度が相対的に高く感じました。そのため、最初はパターン1か2でデータ連携を開始し、必要に応じて後からSnowpipeへ移行するような段階を踏むとスムーズに導入できるのではないかと考えています。

まとめ

この記事ではSnowflakeへデータを書き込む方法を3種類ご紹介しました。

書き込むデータの容量や書き込み頻度によって最適な方法は異なりますが、どの方法もASTERIA Warpと組み合わせて実現することが可能です。

皆様のご検討の参考にしていただけましたら幸いです。



クラウド版

手ぶら de ASTERIA Warp
体験 5日間を申し込んで
簡単データ連携を体験してみよう!

サーバー準備の手間なくデータ連携ツール「ASTERIA Warp」の
全ての機能を5日間お試しいただけます。

今すぐ体験してみる 書籍の詳細についてはこちらをご覧ください。
基礎と実践 使い方マニュアル
著者:東海林 賢史

著者:
東海林 賢史

ASTERIA Warpのプリセールスエンジニア。システムエンジニアや情報システム部員としての経験を活かして、ASTERIA Warpをわかりやすくお伝えできるよう日々奮闘中です。

ASTERIA Warp 関連サイトのご紹介

X ASTERIA Warp Developer Network(ADN)サイト

技術情報をお探しの方

ASTERIA Warp Developer Network
(ADN)サイト

ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。

X ASTERIA Warpユーザーグループ(AUG)

ASTERIA Warpデベロッパーの方

ASTERIA Warp オンラインコミュニティ
ADN slack

ASTERIA Warpデベロッパー同士をつなげ、技術情報の共有やちょっとしたASTERIA Warpの疑問解決の場とすることを目的としたコミュニティです。

X ASTERIA Warpユーザーサイト

ASTERIA Warpユーザーの方

ASTERIA Warpユーザーサイト
Login

製品更新版や評価版のダウンロード、各種ドキュメントのご提供、また 技術的なお問合せもこちらで受付ています。

X ASTERIA Warpパートナーサイト

ASTERIA Warpパートナーの方

ASTERIA Warpパートナーサイト
Login

パートナーライセンスの発行や各種ドキュメントのご提供をしています。

ページ先頭へ