ASTERIA Warp 製品ブログ

Redshiftコンポーネントの使いドコロ

2014/11/06　著者：森一弥　カテゴリー：製品コラム , 製品情報

エクスペリメンタルビルドで公開されたAWSアダプターに含まれるRedshiftコンポーネントですが、今回はその使いドコロをご紹介したいと思います。

追加されたコンポーネント自体のご紹介は前回のブログで書いていますのでこちらもご確認ください。
www.asteria.com/jp/warp/blog/cat1/13768.html

Redshiftはデータウェアハウスのサービスですので、その用途は何らかの分析ということになると思います。
データ分析に際しては、以下の図に表すように3つの流れがあると考えられます。

１）データのアップロード

分析対象のデータを社内から集め、その形式を統一するために変換、さらにAmazon S3経由でRedshiftへアップロードします。

データの収集に際してはASTERIA Warpの持つ様々なコンポーネントやアダプターにより分析対象のデータを集めることが出来ます。通常、この手の分析はWebサーバーのログなど形式が定まった単調な大量データが対象となりますが、ASTERIA Warpを使えば、ExcelやNotesなどのデータを分析対象とすることも出来ます。

続いてS3へのアップロードですが、データをGZipで圧縮してから分散アップロードします。
これにより速度の向上が見込めますし、転送量が減ることによりコストダウンも期待できます。

最後にS3からRedshiftへのコピーを行います。ここでは新規に追加された「RedshiftLoadコンポーネント」を使うことで画面操作のみで完了します。

２）データの更新

RedshiftではUPSERTがサポートされていません。
よって、データの更新は新規でテーブルを作成し、既存のものとマージすることで新たなテーブルとすることが推奨されています。

追加更新するデータは先に述べたようにS3へデータをアップロードしてから新たなテーブルを作成するという流れになります。

マージして作成するテーブルについては、今回追加された新しいコンポーネントが役に立ちます。
「RedshiftCopyTableコンポーネント」はSQLの結果を新たなテーブルにするコンポーネントです。
コレを利用すれば２つのテーブルをマージした結果を簡単に新たなテーブルにすることが出来ます。

３）データの分析・活用

最後はデータの分析と活用です。
Redshiftは大量のデータを扱うペタバイト級データウェアサービスです。巨大なテーブルを直接分析対象にすることも可能ですが複数のアクセスで分析するのは効率がいいとは言えません。そこで、一時的に利用するテーブルを作成して、これを分析対象とすることが推奨されています。

この分析対象の一時テーブルを作成するためにも、先程も出てきた「RedshiftCopyTableコンポーネント」が役に立ちます。

作成した一時テーブルはBIツールでの分析対象とする他、ASTERIA Warpを使えばExcelとして出力したり、PDFの帳票を作成して添付メールで定期的に送付したりということも出来ます。通常の業務利用しているデータベースに書き戻すことも出来ますので、利用用途は色々と広がります。

ASTERIA Warpを使えばRedshiftを使った分析業務の流れすべてをノーコードで実現できてしまいます。
いろいろと検討するよりまずはやってみませんか？
ASTERIA Warpは1ヶ月の評価版もありますし、Redshiftは2ヶ月無料らしいですよ！