前回に引き続いてRedshift連携第3弾はパイプラインサービスを使った連携です。
Amazon Redshiftへのデータの直接投入と、データ取得をパイプラインサービスを利用して作成してみます。
社内文書の閲覧記録を保存している「ログファイル」の内容をそのままRedshiftにアップロードします。
すでに前回のフローサービス記事内容と同等JDBCドライバー設定、テーブル作成をパイプラインでも済ませてあることとします。
パイプラインを新規作成してセンサーとジョイントの入力を行います。
センサーに「ファイルにレコードデータが追加されたかどうかを監視」、ジョイントに「データベースに保存（PostgreSQL）」を選びます。
まずは「センサー」でRedshiftへ登録するデータフォーマットの設定を行います。
ここの設定で実際のログの出力頻度にあわせて「取得時間」を決めておきます。
Redshiftへの直接書込みはそれほど速くはないので、細かい単位で実行するか、夜間に実行するなどの工夫が必要になると思います。
続いて「ジョイント」で保存するRedshiftの設定と、フィールドの設定を行います。
パイプラインの保存と実行を行うとデータがRedshiftに書き込まれます。
計結果を取得してグラフを作成してみたいと思います。
書き込み時と同じようにパイプラインを新規作成します。
センサーに「データベースからの取込み（PostgreSQL）」ジョイントに「棒グラフを作成」を選択します。
まずはセンサーでデータベースの取込み設定を行います。
今回は集計結果を取得したいので、「詳細」ボタンを押してからSQLを記載します。
続いて棒グラフの設定を行います。
「ジョイント」の画面で作成する画像のフォルダとファイル名、および縦軸、縦軸を設定します。
横軸として部門名、縦軸に閲覧数を設定しました。
実行すると画像ファイルとしてグラフが作成されます。
定期的にグラフを作成し、週次のレポート作成や、社内ポータルの作成などで活用することができます。
ASTERIA Warpシリーズ担当のシニアプロダクトマネージャー。ホワイトペーパーの執筆のほか、開発経験を活かしたASTERIA Warpを使ったデモ作成等を実施。
ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。
アステリア製品デベロッパー同士をつなげ、技術情報の共有やちょっとしたの疑問解決の場とすることを目的としたコミュニティです。
