Redshiftコンポーネントの使いドコロ

エクスペリメンタルビルドで公開されたAWSアダプターに含まれるRedshiftコンポーネントですが、今回はその使いドコロをご紹介したいと思います。

前回のブログで追加されたコンポーネント自体のご紹介を書いていますので、あわせてご確認ください。

データ分析3つの流れ

Redshiftはデータウェアハウスのサービスですので、その用途は何らかの分析ということになると思います。
データ分析に際しては、以下の図に表すように3つの流れがあると考えられます。

データのアップロード、更新、分析・活用

1)データのアップロード

分析対象のデータを社内から集め、その形式を統一するために変換、さらにAmazon S3経由でRedshiftへアップロードします。

データのアップロード

データの収集に際してはASTERIA Warpの持つ様々なコンポーネントやアダプターにより分析対象のデータを集めることが出来ます。通常、この手の分析はWebサーバーのログなど形式が定まった単調な大量データが対象となりますが、ASTERIA Warpを使えば、ExcelやNotesなどのデータを分析対象とすることも出来ます。

続いてS3へのアップロードですが、データをGZipで圧縮してから分散アップロードします。
これにより速度の向上が見込めますし、転送量が減ることによりコストダウンも期待できます。

最後にS3からRedshiftへのコピーを行います。ここでは新規に追加された「RedshiftLoadコンポーネント」を使うことで画面操作のみで完了します。

2)データの更新

RedshiftではUPSERTがサポートされていません。
よって、データの更新は新規でテーブルを作成し、既存のものとマージすることで新たなテーブルとすることが推奨されています。

データの更新

追加更新するデータは先に述べたようにS3へデータをアップロードしてから新たなテーブルを作成するという流れになります。

マージして作成するテーブルについては、今回追加された新しいコンポーネントが役に立ちます。
「RedshiftCopyTableコンポーネント」はSQLの結果を新たなテーブルにするコンポーネントです。
コレを利用すれば2つのテーブルをマージした結果を簡単に新たなテーブルにすることが出来ます。

3)データの分析・活用

最後はデータの分析と活用です。
Redshiftは大量のデータを扱うペタバイト級データウェアサービスです。巨大なテーブルを直接分析対象にすることも可能ですが複数のアクセスで分析するのは効率がいいとは言えません。そこで、一時的に利用するテーブルを作成して、これを分析対象とすることが推奨されています。

データの分析・活用

この分析対象の一時テーブルを作成するためにも、先程も出てきた「RedshiftCopyTableコンポーネント」が役に立ちます。

作成した一時テーブルはBIツールでの分析対象とする他、ASTERIA Warpを使えばExcelとして出力したり、PDFの帳票を作成して添付メールで定期的に送付したりということも出来ます。通常の業務利用しているデータベースに書き戻すことも出来ますので、利用用途は色々と広がります。

ASTERIA Warpならノーコードで実現

ASTERIA Warpを使えばRedshiftを使った分析業務の流れすべてをノーコードで実現できてしまいます。
いろいろと検討するよりまずはやってみませんか?
ASTERIA Warpは1ヶ月の評価版もありますし、Redshiftは2ヶ月無料らしいですよ!

関連記事



クラウド版

手ぶら de ASTERIA Warp
体験 5日間を申し込んで
「Amazon Web Services アダプター」を試そう

サーバー準備の手間なくデータ連携ツール「ASTERIA Warp」の
全ての機能を5日間お試しいただけます。

今すぐ体験してみる 書籍の詳細についてはこちらをご覧ください。
基礎と実践 使い方マニュアル
著者:森 一弥

著者:
森 一弥

ASTERIA Warpシリーズ担当のシニアプロダクトマネージャー。ホワイトペーパーの執筆のほか、開発経験を活かしたASTERIA Warpを使ったデモ作成等を実施。

ASTERIA Warp 関連サイトのご紹介

X ASTERIA Warp Developer Network(ADN)サイト

技術情報をお探しの方

ASTERIA Warp Developer Network
(ADN)サイト

ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。

X ASTERIA Warpユーザーグループ(AUG)

ASTERIA Warpデベロッパーの方

ASTERIA Warp オンラインコミュニティ
ADN slack

ASTERIA Warpデベロッパー同士をつなげ、技術情報の共有やちょっとしたASTERIA Warpの疑問解決の場とすることを目的としたコミュニティです。

X ASTERIA Warpユーザーサイト

ASTERIA Warpユーザーの方

ASTERIA Warpユーザーサイト
Login

製品更新版や評価版のダウンロード、各種ドキュメントのご提供、また 技術的なお問合せもこちらで受付ています。

X ASTERIA Warpパートナーサイト

ASTERIA Warpパートナーの方

ASTERIA Warpパートナーサイト
Login

パートナーライセンスの発行や各種ドキュメントのご提供をしています。

ページ先頭へ