【つないでみた】トレジャーデータにつないでバッチでデータをぶっこんでみた

先進的なデータ分析を積極的に行っているお客さまから、最近「トレジャーデータ」というサービス名を良く聞きます。

調べてみたところ、日本人技術者がシリコンバレーで起業した会社から提供しているサービスのようで、国産ソフトウェアを提供しているインフォテリアとしては、それだけでもちょっと応援したくなります。

簡単に説明すると、トレジャーデータはクラウド上にあるデータマネジメントシステムで、 スキーマレスのデータベースみたいなものでしょうか。

 

「トレジャーデータ」とつないでみた

そんなわけで、今回はこのトレジャーデータにつないでみたいと思います。

トレジャーデータにデータを入れる方法は複数存在します。
Webを参照すると、データの更新頻度によって3種類あるようです。

ASTERIA Warpを使ってデータを入れる場合は、日時バッチなどを使うところでしょうか。
1〜3分ごとなど頻繁にデータを投入しないので、「Bulk Import」が対象のようです。
Bulk Importについてはコマンドライン用のツールが用意されています。
なので、こちらをインストールし、ASTERIA Warpを使って収集したデータをCSV等にしてインポートする方法が簡単そうです。

インポートするデータは以前「Tableauとつないで地震情報みてみた」で使用した地震のデータを使ってみます。
バッチの実行は以下の様なWindowsのバッチファイルを作ってそちらを実行する感じにしました。

作成したバッチファイル

set PATH=%PATH%;C:\ProgramData\Oracle\Java\javapath
set PATH=%PATH%;C:\Program Files (x86)\Treasure Data\bin
td -k ＜キーコード＞ import:auto --format csv --time-column datetime --time-format "%%Y/%%m/%%d %%H:%%M:%%S" --column-header -e Windows-31J --auto-create %1.%2 %3

1行目と2行目でJavaのパスとトレジャーデータツールのパスを設定しています。
3行目が実行するツールのコマンドです。
自動でインポートするため、フォーマットがCSVであることや、ヘッダーを自動でカラム名にする設定などがしてあります。（トレジャーデータのコマンドのオプションは他にもいろいろありそうです。）
1行目のヘッダーをカラム名にするので、アルファベット、またこのバッチの引数でデータベース名、テーブル名、インポートするファイル名を渡すようにしました。

作成したフロー

こちらを呼び出すASTERIA Warpのフローはこんな感じ。

簡単すぎますかね。
EXEコンポーネントでバッチファイルを実行するには「ファイルパス」プロパティに「cmd.exe /c ＜バッチファイル名＞」という感じで設定します。

なお「実行フォルダ」というプロパティにパスを設定しておかないとバッチファイルをフルパスで指定しないといけないので、注意が必要です。
また、このインポートのコマンドは結構時間がかかりますので、タイムアウトの秒数を必要に応じて増やしたほうが良さそうです。

実行結果

トレジャーデータのサイトでデータベースとテーブルを作成してから実行してみます。

インポートできたようです。
トレジャーデータのサイト上からもインポートできたことを確認してみます。

DBとテーブルの作成をしただけでカラム定義は特にしていませんが、インポートしたCSVに合わせてカラム名とデータ型も自動で設定してくれました。

最後に

今回はCSVをインポートしてみましたが、他の形式や、Amazon S3に入れたデータなども同じようにインポートできるようです。

さて、次回はトレジャーデータからのデータ出力を「つないでみた」でご紹介したいと思います。

その前に「ASTERIA Warp」がどういったものかをちょっと見てみませんか？