Amazon Redshift 連携 :急 〜パイプラインサービス編〜

前回に引き続いてRedshift連携第3弾はパイプラインサービスを使った連携です。

Amazon Redshiftへのデータの直接投入と、データ取得をパイプラインサービスを利用して作成してみます。

社内文書の閲覧記録を保存している「ログファイル」の内容をそのままRedshiftにアップロードします。

新規パイプライン作成

すでに前回のフローサービス記事内容と同等JDBCドライバー設定、テーブル作成をパイプラインでも済ませてあることとします。

■ ログデータのRedshiftへの直接投入

パイプラインを新規作成してセンサーとジョイントの入力を行います。

センサーに「ファイルにレコードデータが追加されたかどうかを監視」、ジョイントに「データベースに保存(PostgreSQL)」を選びます。

ファイルにレコードデータが追加されたかどうか監視

 

まずは「センサー」でRedshiftへ登録するデータフォーマットの設定を行います。

「センサー」でデータフォーマットの設定を登録

ここの設定で実際のログの出力頻度にあわせて「取得時間」を決めておきます。

Redshiftへの直接書込みはそれほど速くはないので、細かい単位で実行するか、夜間に実行するなどの工夫が必要になると思います。

 

続いて「ジョイント」で保存するRedshiftの設定と、フィールドの設定を行います。

「ジョイント」でRedshiftの設定と各フィールドを設定

パイプラインの保存と実行を行うとデータがRedshiftに書き込まれます。

リクエスト設定を完了

 

■ 集計データの取得

計結果を取得してグラフを作成してみたいと思います。

書き込み時と同じようにパイプラインを新規作成します。

Amazon Redshiftから集計グラフ作成

センサーに「データベースからの取込み(PostgreSQL)」ジョイントに「棒グラフを作成」を選択します。

 

まずはセンサーでデータベースの取込み設定を行います。

今回は集計結果を取得したいので、「詳細」ボタンを押してからSQLを記載します。

データベースからの取り込み(PostgreSQL)

 

続いて棒グラフの設定を行います。

「ジョイント」の画面で作成する画像のフォルダとファイル名、および縦軸、縦軸を設定します。

棒グラフを作成

横軸として部門名、縦軸に閲覧数を設定しました。

実行すると画像ファイルとしてグラフが作成されます。

閲覧数グラフ

 

定期的にグラフを作成し、週次のレポート作成や、社内ポータルの作成などで活用することができます。


関連記事




クラウド版

手ぶら de ASTERIA Warp
体験 5日間を申し込んで
簡単データ連携を体験してみよう!

サーバー準備の手間なくデータ連携ツール「ASTERIA Warp」の
全ての機能を5日間お試しいただけます。

今すぐ体験してみる 書籍の詳細についてはこちらをご覧ください。
基礎と実践 使い方マニュアル
著者:森 一弥

著者:
森 一弥

ASTERIA Warpシリーズ担当のシニアプロダクトマネージャー。ホワイトペーパーの執筆のほか、開発経験を活かしたASTERIA Warpを使ったデモ作成等を実施。

ASTERIA Warp 関連サイトのご紹介

X ASTERIA Warp Developer Network(ADN)サイト

技術情報をお探しの方

ASTERIA Warp Developer Network
(ADN)サイト

ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。

X ASTERIA Warpユーザーグループ(AUG)

ASTERIA Warpデベロッパーの方

ASTERIA Warp オンラインコミュニティ
ADN slack

ASTERIA Warpデベロッパー同士をつなげ、技術情報の共有やちょっとしたASTERIA Warpの疑問解決の場とすることを目的としたコミュニティです。

X ASTERIA Warpユーザーサイト

ASTERIA Warpユーザーの方

ASTERIA Warpユーザーサイト
Login

製品更新版や評価版のダウンロード、各種ドキュメントのご提供、また 技術的なお問合せもこちらで受付ています。

X ASTERIA Warpパートナーサイト

ASTERIA Warpパートナーの方

ASTERIA Warpパートナーサイト
Login

パートナーライセンスの発行や各種ドキュメントのご提供をしています。

ページ先頭へ