ASTERIA Warp 製品ブログ

【つないでみた】トレジャーデータにつないでバッチでデータをぶっこんでみた

【つないでみた】トレジャーデータにつないでバッチでデータをぶっこんでみた 先進的なデータ分析を積極的に行っているお客さまから、最近「トレジャーデータ」というサービス名を良く聞きます。
調べてみたところ、日本人技術者がシリコンバレーで起業した会社から提供しているサービスのようで、国産ソフトウェアを提供しているインフォテリアとしては、それだけでもちょっと応援したくなります。

簡単に説明すると、トレジャーデータはクラウド上にあるデータマネジメントシステムで、 スキーマレスのデータベースみたいなものでしょうか。
そんなわけで、今回はこのトレジャーデータにつないでみたいと思います。

ーーーーーーーーーーーーーーーーーーーーーーーーー

トレジャーデータにデータを入れる方法は複数存在します。
Webを参照すると、データの更新頻度によって3種類あるようですね。
docs.treasuredata.com/articles/import-overview#three-types-of-data-import 

ASTERIA Warpを使ってデータを入れる場合は、日時バッチなどを使うところでしょうか。
1〜3分ごとなど頻繁にデータを投入しないので、「Bulk Import」が対象のようです。
Bulk Importについてはコマンドライン用のツールが用意されています。
なので、こちらをインストールし、ASTERIA Warpを使って収集したデータをCSV等にしてインポートする方法が簡単そうです。

インポートするデータは以前「Tableauとつないで地震情報みてみた」で使用した地震のデータを使ってみます。
バッチの実行は以下の様なWindowsのバッチファイルを作ってそちらを実行する感じにしました。

set PATH=%PATH%;C:\ProgramData\Oracle\Java\javapath<br />
set PATH=%PATH%;C:\Program Files (x86)\Treasure Data\bin<br />
td -k <キーコード> import:auto --format csv --time-column datetime --time-format "%%Y/%%m/%%d %%H:%%M:%%S" --column-header -e Windows-31J --auto-create %1.%2 %3


1行目と2行目でJavaのパスとトレジャーデータツールのパスを設定しています。
3行目が実行するツールのコマンドです。
自動でインポートするため、フォーマットがCSVであることや、ヘッダーを自動でカラム名にする設定などがしてあります。(トレジャーデータのコマンドのオプションは他にもいろいろありそうです。)
1行目のヘッダーをカラム名にするので、アルファベット、またこのバッチの引数でデータベース名、テーブル名、インポートするファイル名を渡すようにしました。

こちらを呼び出すASTERIA Warpのフローはこんな感じ。
td:Import

簡単すぎますかね。
EXEコンポーネントでバッチファイルを実行するには「ファイルパス」プロパティに「cmd.exe /c <バッチファイル名>」という感じで設定します。

ImportProperty

なお「実行フォルダ」というプロパティにパスを設定しておかないとバッチファイルをフルパスで指定しないといけないので、注意が必要です。
また、このインポートのコマンドは結構時間がかかりますので、タイムアウトの秒数を必要に応じて増やしたほうが良さそうです。

トレジャーデータのサイトでデータベースとテーブルを作成してから実行してみます。

result

インポートできたようです。
トレジャーデータのサイト上からもインポートできたことを確認してみます。

Treasure Data Result

DBとテーブルの作成をしただけでカラム定義は特にしていませんが、インポートしたCSVに合わせてカラム名とデータ型も自動で設定してくれました。

今回はCSVをインポートしてみましたが、他の形式や、Amazon S3に入れたデータなども同じようにインポートできるようです。

さて、次回はトレジャーデータからのデータ出力を「つないでみた」でご紹介したいと思います。

その前に「ASTERIA Warp」がどういったものかをちょっと見てみませんか?

AWS Test Driveのクラウド上でASTERIA Warpを試してみる >>
AWSのTest Drive上でASTERIA Warpとはどういったものかを簡単にお試しいただけます。
ぜひご利用ください。
【ASTERIA Warp 事例集】業務自動化/RPA、EAI、マスターデータ管理、クラウド連携・・・業務効率化・データ活用事例をまとめ読み

ASTERIA Warp 関連サイトのご紹介

X ASTERIA Warp Developer Network(ADN)サイト

技術情報をお探しの方

ASTERIA Warp Developer Network
(ADN)サイト

ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。

X ASTERIA Warpユーザーグループ(AUG)サイト

ASTERIA Warpユーザーの方

ASTERIA Warpユーザーグループ
(AUG)サイト

ASTERIA Warpユーザー同士の交流の場として、各種イベント案内や開催レポートを掲載しています。

X ASTERIA Warpユーザーサイト

ASTERIA Warpユーザーの方

ASTERIA Warpユーザーサイト
Login

製品更新版や評価版のダウンロード、各種ドキュメントのご提供、また 技術的なお問合せもこちらで受付ています。

X ASTERIA Warpパートナーサイト

ASTERIA Warpパートナーの方

ASTERIA Warpパートナーサイト
Login

パートナーライセンスの発行や各種ドキュメントのご提供をしています。

ページ先頭へ