エクスペリメンタルビルドで公開されたAWSアダプターに含まれるRedshiftコンポーネントですが、今回はその使いドコロをご紹介したいと思います。
前回のブログで追加されたコンポーネント自体のご紹介を書いていますので、あわせてご確認ください。
Redshiftはデータウェアハウスのサービスですので、その用途は何らかの分析ということになると思います。
データ分析に際しては、以下の図に表すように3つの流れがあると考えられます。
分析対象のデータを社内から集め、その形式を統一するために変換、さらにAmazon S3経由でRedshiftへアップロードします。
データの収集に際してはASTERIA Warpの持つ様々なコンポーネントやアダプターにより分析対象のデータを集めることが出来ます。通常、この手の分析はWebサーバーのログなど形式が定まった単調な大量データが対象となりますが、ASTERIA Warpを使えば、ExcelやNotesなどのデータを分析対象とすることも出来ます。
続いてS3へのアップロードですが、データをGZipで圧縮してから分散アップロードします。
これにより速度の向上が見込めますし、転送量が減ることによりコストダウンも期待できます。
最後にS3からRedshiftへのコピーを行います。ここでは新規に追加された「RedshiftLoadコンポーネント」を使うことで画面操作のみで完了します。
RedshiftではUPSERTがサポートされていません。
よって、データの更新は新規でテーブルを作成し、既存のものとマージすることで新たなテーブルとすることが推奨されています。
追加更新するデータは先に述べたようにS3へデータをアップロードしてから新たなテーブルを作成するという流れになります。
マージして作成するテーブルについては、今回追加された新しいコンポーネントが役に立ちます。
「RedshiftCopyTableコンポーネント」はSQLの結果を新たなテーブルにするコンポーネントです。
コレを利用すれば２つのテーブルをマージした結果を簡単に新たなテーブルにすることが出来ます。
最後はデータの分析と活用です。
Redshiftは大量のデータを扱うペタバイト級データウェアサービスです。巨大なテーブルを直接分析対象にすることも可能ですが複数のアクセスで分析するのは効率がいいとは言えません。そこで、一時的に利用するテーブルを作成して、これを分析対象とすることが推奨されています。
この分析対象の一時テーブルを作成するためにも、先程も出てきた「RedshiftCopyTableコンポーネント」が役に立ちます。
作成した一時テーブルはBIツールでの分析対象とする他、ASTERIA Warpを使えばExcelとして出力したり、PDFの帳票を作成して添付メールで定期的に送付したりということも出来ます。通常の業務利用しているデータベースに書き戻すことも出来ますので、利用用途は色々と広がります。
ASTERIA Warpを使えばRedshiftを使った分析業務の流れすべてをノーコードで実現できてしまいます。
いろいろと検討するよりまずはやってみませんか？
ASTERIA Warpは1ヶ月の評価版もありますし、Redshiftは2ヶ月無料らしいですよ！
ASTERIA Warpシリーズ担当のシニアプロダクトマネージャー。ホワイトペーパーの執筆のほか、開発経験を活かしたASTERIA Warpを使ったデモ作成等を実施。
Related Posts
ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。
ASTERIA Warpデベロッパー同士をつなげ、技術情報の共有やちょっとしたASTERIA Warpの疑問解決の場とすることを目的としたコミュニティです。
Copyright©1998 -2022 Asteria Corporation. All Rights Reserved.
