ASTERIA Warp 製品ブログ

Redshiftコンポーネントの使いドコロ

エクスペリメンタルビルドで公開されたAWSアダプターに含まれるRedshiftコンポーネントですが、今回はその使いドコロをご紹介したいと思います。

追加されたコンポーネント自体のご紹介は前回のブログで書いていますのでこちらもご確認ください。
www.asteria.com/jp/warp/blog/cat1/13768.html

Redshiftはデータウェアハウスのサービスですので、その用途は何らかの分析ということになると思います。
データ分析に際しては、以下の図に表すように3つの流れがあると考えられます。



1)データのアップロード

分析対象のデータを社内から集め、その形式を統一するために変換、さらにAmazon S3経由でRedshiftへアップロードします。



データの収集に際してはASTERIA Warpの持つ様々なコンポーネントやアダプターにより分析対象のデータを集めることが出来ます。通常、この手の分析はWebサーバーのログなど形式が定まった単調な大量データが対象となりますが、ASTERIA Warpを使えば、ExcelやNotesなどのデータを分析対象とすることも出来ます。

続いてS3へのアップロードですが、データをGZipで圧縮してから分散アップロードします。
これにより速度の向上が見込めますし、転送量が減ることによりコストダウンも期待できます。

最後にS3からRedshiftへのコピーを行います。ここでは新規に追加された「RedshiftLoadコンポーネント」を使うことで画面操作のみで完了します。

2)データの更新

RedshiftではUPSERTがサポートされていません。
よって、データの更新は新規でテーブルを作成し、既存のものとマージすることで新たなテーブルとすることが推奨されています。



追加更新するデータは先に述べたようにS3へデータをアップロードしてから新たなテーブルを作成するという流れになります。

マージして作成するテーブルについては、今回追加された新しいコンポーネントが役に立ちます。
「RedshiftCopyTableコンポーネント」はSQLの結果を新たなテーブルにするコンポーネントです。
コレを利用すれば2つのテーブルをマージした結果を簡単に新たなテーブルにすることが出来ます。

3)データの分析・活用

最後はデータの分析と活用です。
Redshiftは大量のデータを扱うペタバイト級データウェアサービスです。巨大なテーブルを直接分析対象にすることも可能ですが複数のアクセスで分析するのは効率がいいとは言えません。そこで、一時的に利用するテーブルを作成して、これを分析対象とすることが推奨されています。



この分析対象の一時テーブルを作成するためにも、先程も出てきた「RedshiftCopyTableコンポーネント」が役に立ちます。

作成した一時テーブルはBIツールでの分析対象とする他、ASTERIA Warpを使えばExcelとして出力したり、PDFの帳票を作成して添付メールで定期的に送付したりということも出来ます。通常の業務利用しているデータベースに書き戻すことも出来ますので、利用用途は色々と広がります。

ASTERIA Warpを使えばRedshiftを使った分析業務の流れすべてをノン・コーディングで実現できてしまいます。
いろいろと検討するよりまずはやってみませんか?
ASTERIA Warpは1ヶ月の評価版もありますし、Redshiftは2ヶ月無料らしいですよ!


クラウド版 使い方いろいろ!
手ぶら de ASTERIA Warp
体験 5日間

サーバー準備の手間なくデータ連携ツール「ASTERIA Warp」の
全ての機能を5日間お試しいただけます。

今すぐ体験してみる 書籍の詳細についてはこちらをご覧ください。
基礎と実践 使い方マニュアル

関連記事:

Amazon Redshift コンポーネント エクスペリメンタルビルドで公開!
ぬこでもわかる Amazon Redshift
Amazon Redshiftにエクスペリメンタルビルドを使ってつないでみた
【ASTERIA Warp 事例集】業務自動化/RPA、EAI、マスターデータ管理、クラウド連携・・・業務効率化・データ活用事例をまとめ読み

ASTERIA Warp関連サイトのご紹介

X

<技術情報をお探しの方>

ASTERIA Warp Developer Network
(ADN)サイト

ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。

X

<ASTERIA Warpユーザーの方>

ASTERIA Warpユーザーグループ
(AUG)サイト

ASTERIA Warpユーザー同士の交流の場として、各種イベント案内や開催レポートを掲載しています。

X

<ASTERIA Warpユーザーの方>

ASTERIA Warpユーザーサイト
Login

製品更新版や評価版のダウンロード、各種ドキュメントのご提供、また 技術的なお問合せもこちらで受付ています。

X

<ASTERIA Warpパートナーの方>

ASTERIA Warpパートナーサイト
Login

パートナーライセンスの発行や各種ドキュメントのご提供をしています。