
前回、エクスペリメンタルビルドで公開された「
Redshiftコンポーネントの使いドコロ」をお伝えしましたが、今回は実際にフローを作って、つないでみたいと思います。
まず、この3つのフローを作成してみます。
■ データをS3にパラレルで転送するフロー
■ Redshiftにコピーするフロー ■ Redshiftのデータを絞り込んでExcelのピポッドテーブルに出力するフローさっそく1つ目の
S3にパラレルで転送するフローです。


フローが2つありますが、パラレルで転送するので、1つずつ動くものはサブフローとして定義します。
今回は登録データとしてシステムのログファイルを使いました。1ファイルに何万行とあるファイルを分割で読み込み、指定した行数単位でパラレル実行しS3に保存しています。
この際、GZipで圧縮することで転送量を大幅に軽減することができます。
次に
S3からRedshiftにコピーするフローを作成しますが、コンポーネントは1つだけです。

こちらは1つ目のフローの後にすぐ呼び出しても問題ありません。
コンポーネントではコピー元であるS3のバケットとオブジェクトの指定、さらにコピー先のRedshiftのテーブルを画面で設定することができます。

最後に
Excelへの出力を行うフローです。

最初のコンポーネントでRedshiftに分析用のテーブルを作成しています。
これは画面で設定したSQLの結果を元に、新たなテーブルを作れるコンポーネントです。

出力されるExcelは、予めデータを入れるとグラフやピポッドテーブルが出るようにテンプレートを用意しておきます。
なので、ASTERIA Warpではデータを差し込むだけです。

今回は上記のような、地域別やカテゴリ別などにまとめたグラフや表を出力するようにしてみました。
いかがでしたでしょうか?
さて、ここまでの流れを動画でもご紹介していますので、こちらも合わせてご覧ください!
↓ ↓ ↓
データのアップロードから簡易分析まで、Javaなどのプログラミング開発を一切することなく、このようなことができてしまいます。
更に、できたExcelレポートを添付メールで配信したり、この処理自体を毎週実行するなどといったことも可能です!
「でも開発工数が、、」「うちには技術者居ないから・・・」などとお悩みの方、まずは1ヶ月無料評価版で試してみるのはいかがでしょうか?
関連記事
・
Amazon Redshift コンポーネント エクスペリメンタルビルドで公開!
・
ぬこでもわかる Amazon Redshift
・
Redshiftコンポーネントの使いドコロ
手ぶら de ASTERIA Warp
体験 5日間を申し込んで
「Amazon Web Services アダプター」を試そう
サーバー準備の手間なくデータ連携ツール「ASTERIA Warp」の
全ての機能を5日間お試しいただけます。
今すぐ体験してみる
書籍の詳細についてはこちらをご覧ください。
基礎と実践 使い方マニュアル