ASTERIA Warp 製品ブログ

【つないでみた】Amazon Redshiftにエクスペリメンタルビルドを使ってつないでみた

【つないでみた】Amazon Redshiftにエクスペリメンタルビルド使ってつないでみた 前回、エクスペリメンタルビルドで公開された「Redshiftコンポーネントの使いドコロ」をお伝えしましたが、今回は実際にフローを作って、つないでみたいと思います。






まず、この3つのフローを作成してみます。

■ データをS3にパラレルで転送するフロー
Redshiftにコピーするフロー
Redshiftのデータを絞り込んでExcelのピポッドテーブルに出力するフロー

さっそく1つ目のS3にパラレルで転送するフローです。




フローが2つありますが、パラレルで転送するので、1つずつ動くものはサブフローとして定義します。
今回は登録データとしてシステムのログファイルを使いました。1ファイルに何万行とあるファイルを分割で読み込み、指定した行数単位でパラレル実行しS3に保存しています。
この際、GZipで圧縮することで転送量を大幅に軽減することができます。
 
次にS3からRedshiftにコピーするフローを作成しますが、コンポーネントは1つだけです。



こちらは1つ目のフローの後にすぐ呼び出しても問題ありません。
コンポーネントではコピー元であるS3のバケットとオブジェクトの指定、さらにコピー先のRedshiftのテーブルを画面で設定することができます。



最後にExcelへの出力を行うフローです。



最初のコンポーネントでRedshiftに分析用のテーブルを作成しています。
これは画面で設定したSQLの結果を元に、新たなテーブルを作れるコンポーネントです。



 出力されるExcelは、予めデータを入れるとグラフやピポッドテーブルが出るようにテンプレートを用意しておきます。
なので、ASTERIA Warpではデータを差し込むだけです。



今回は上記のような、地域別やカテゴリ別などにまとめたグラフや表を出力するようにしてみました。
いかがでしたでしょうか?

さて、ここまでの流れを動画でもご紹介していますので、こちらも合わせてご覧ください!
↓ ↓ ↓



データのアップロードから簡易分析まで、Javaなどのプログラミング開発を一切することなく、このようなことができてしまいます。
更に、できたExcelレポートを添付メールで配信したり、この処理自体を毎週実行するなどといったことも可能です!

「でも開発工数が、、」「うちには技術者居ないから・・・」などとお悩みの方、まずは1ヶ月無料評価版で試してみるのはいかがでしょうか?


クラウド版 使い方いろいろ!
手ぶら de ASTERIA Warp
体験 5日間

サーバー準備の手間なくデータ連携ツール「ASTERIA Warp」の
全ての機能を5日間お試しいただけます。

今すぐ体験してみる 書籍の詳細についてはこちらをご覧ください。
基礎と実践 使い方マニュアル

関連記事:

Amazon Redshift コンポーネント エクスペリメンタルビルドで公開!
ぬこでもわかる Amazon Redshift
Redshiftコンポーネントの使いドコロ
【ASTERIA Warp 事例集 2018】業務自動化/RPA、EAI、マスターデータ管理、クラウド連携・・・業務効率化・データ活用事例をまとめ読み

ASTERIA Warp関連サイトのご紹介

X

<技術情報をお探しの方>

ASTERIA Warp Developer Network
(ADN)サイト

ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。

X

<ASTERIA Warpユーザーの方>

ASTERIA Warpユーザーグループ
(AUG)サイト

ASTERIA Warpユーザー同士の交流の場として、各種イベント案内や開催レポートを掲載しています。

X

<ASTERIA Warpユーザーの方>

ASTERIA Warpユーザーサイト
Login

製品更新版や評価版のダウンロード、各種ドキュメントのご提供、また 技術的なお問合せもこちらで受付ています。

X

<ASTERIA Warpパートナーの方>

ASTERIA Warpパートナーサイト
Login

パートナーライセンスの発行や各種ドキュメントのご提供をしています。