前回に引き続いてRedshift連携第3弾はパイプラインサービスを使った連携です。
Amazon Redshiftへのデータの直接投入と、データ取得をパイプラインサービスを利用して作成してみます。
社内文書の閲覧記録を保存している「ログファイル」の内容をそのままRedshiftにアップロードします。
すでに前回のフローサービス記事内容と同等JDBCドライバー設定、テーブル作成をパイプラインでも済ませてあることとします。
パイプラインを新規作成してセンサーとジョイントの入力を行います。
センサーに「ファイルにレコードデータが追加されたかどうかを監視」、ジョイントに「データベースに保存（PostgreSQL）」を選びます。
まずは「センサー」でRedshiftへ登録するデータフォーマットの設定を行います。
ここの設定で実際のログの出力頻度にあわせて「取得時間」を決めておきます。
Redshiftへの直接書込みはそれほど速くはないので、細かい単位で実行するか、夜間に実行するなどの工夫が必要になると思います。
続いて「ジョイント」で保存するRedshiftの設定と、フィールドの設定を行います。
パイプラインの保存と実行を行うとデータがRedshiftに書き込まれます。
計結果を取得してグラフを作成してみたいと思います。
書き込み時と同じようにパイプラインを新規作成します。
センサーに「データベースからの取込み（PostgreSQL）」ジョイントに「棒グラフを作成」を選択します。
まずはセンサーでデータベースの取込み設定を行います。
今回は集計結果を取得したいので、「詳細」ボタンを押してからSQLを記載します。
続いて棒グラフの設定を行います。
「ジョイント」の画面で作成する画像のフォルダとファイル名、および縦軸、縦軸を設定します。
横軸として部門名、縦軸に閲覧数を設定しました。
実行すると画像ファイルとしてグラフが作成されます。
定期的にグラフを作成し、週次のレポート作成や、社内ポータルの作成などで活用することができます。
ASTERIA Warpシリーズ担当のシニアプロダクトマネージャー。ホワイトペーパーの執筆のほか、開発経験を活かしたASTERIA Warpを使ったデモ作成等を実施。
ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。
ASTERIA Warpデベロッパー同士をつなげ、技術情報の共有やちょっとしたASTERIA Warpの疑問解決の場とすることを目的としたコミュニティです。
