【つないでみた】トレジャーデータにつないでバッチでデータをぶっこんでみた

【つないでみた】トレジャーデータにつないでバッチでデータをぶっこんでみた

先進的なデータ分析を積極的に行っているお客さまから、最近「トレジャーデータ」というサービス名を良く聞きます。

調べてみたところ、日本人技術者がシリコンバレーで起業した会社から提供しているサービスのようで、国産ソフトウェアを提供しているインフォテリアとしては、それだけでもちょっと応援したくなります。

簡単に説明すると、トレジャーデータはクラウド上にあるデータマネジメントシステムで、 スキーマレスのデータベースみたいなものでしょうか。

 

「トレジャーデータ」とつないでみた

そんなわけで、今回はこのトレジャーデータにつないでみたいと思います。

トレジャーデータにデータを入れる方法は複数存在します。
Webを参照すると、データの更新頻度によって3種類あるようです。

ASTERIA Warpを使ってデータを入れる場合は、日時バッチなどを使うところでしょうか。
1〜3分ごとなど頻繁にデータを投入しないので、「Bulk Import」が対象のようです。
Bulk Importについてはコマンドライン用のツールが用意されています。
なので、こちらをインストールし、ASTERIA Warpを使って収集したデータをCSV等にしてインポートする方法が簡単そうです。

インポートするデータは以前「Tableauとつないで地震情報みてみた」で使用した地震のデータを使ってみます。
バッチの実行は以下の様なWindowsのバッチファイルを作ってそちらを実行する感じにしました。

作成したバッチファイル

set PATH=%PATH%;C:\ProgramData\Oracle\Java\javapath
set PATH=%PATH%;C:\Program Files (x86)\Treasure Data\bin
td -k <キーコード> import:auto --format csv --time-column datetime --time-format "%%Y/%%m/%%d %%H:%%M:%%S" --column-header -e Windows-31J --auto-create %1.%2 %3

1行目と2行目でJavaのパスとトレジャーデータツールのパスを設定しています。
3行目が実行するツールのコマンドです。
自動でインポートするため、フォーマットがCSVであることや、ヘッダーを自動でカラム名にする設定などがしてあります。(トレジャーデータのコマンドのオプションは他にもいろいろありそうです。)
1行目のヘッダーをカラム名にするので、アルファベット、またこのバッチの引数でデータベース名、テーブル名、インポートするファイル名を渡すようにしました。

作成したフロー

こちらを呼び出すASTERIA Warpのフローはこんな感じ。

td:Import

簡単すぎますかね。
EXEコンポーネントでバッチファイルを実行するには「ファイルパス」プロパティに「cmd.exe /c <バッチファイル名>」という感じで設定します。

ImportProperty

なお「実行フォルダ」というプロパティにパスを設定しておかないとバッチファイルをフルパスで指定しないといけないので、注意が必要です。
また、このインポートのコマンドは結構時間がかかりますので、タイムアウトの秒数を必要に応じて増やしたほうが良さそうです。

実行結果

トレジャーデータのサイトでデータベースとテーブルを作成してから実行してみます。

result

インポートできたようです。
トレジャーデータのサイト上からもインポートできたことを確認してみます。

Treasure Data Result

DBとテーブルの作成をしただけでカラム定義は特にしていませんが、インポートしたCSVに合わせてカラム名とデータ型も自動で設定してくれました。

最後に

今回はCSVをインポートしてみましたが、他の形式や、Amazon S3に入れたデータなども同じようにインポートできるようです。

さて、次回はトレジャーデータからのデータ出力を「つないでみた」でご紹介したいと思います。

その前に「ASTERIA Warp」がどういったものかをちょっと見てみませんか?



クラウド版

手ぶら de ASTERIA Warp
体験 5日間を申し込んで
簡単データ連携を体験してみよう!

サーバー準備の手間なくデータ連携ツール「ASTERIA Warp」の
全ての機能を5日間お試しいただけます。

今すぐ体験してみる 書籍の詳細についてはこちらをご覧ください。
基礎と実践 使い方マニュアル
著者:森 一弥

著者:
森 一弥

ASTERIA Warpシリーズ担当のシニアプロダクトマネージャー。ホワイトペーパーの執筆のほか、開発経験を活かしたASTERIA Warpを使ったデモ作成等を実施。

ASTERIA Warp 関連サイトのご紹介

X ASTERIA Warp Developer Network(ADN)サイト

技術情報をお探しの方

ASTERIA Warp Developer Network
(ADN)サイト

ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。

X ASTERIA Warpユーザーグループ(AUG)

ASTERIA Warpデベロッパーの方

ASTERIA Warp オンラインコミュニティ
ADN slack

ASTERIA Warpデベロッパー同士をつなげ、技術情報の共有やちょっとしたASTERIA Warpの疑問解決の場とすることを目的としたコミュニティです。

X ASTERIA Warpユーザーサイト

ASTERIA Warpユーザーの方

ASTERIA Warpユーザーサイト
Login

製品更新版や評価版のダウンロード、各種ドキュメントのご提供、また 技術的なお問合せもこちらで受付ています。

X ASTERIA Warpパートナーサイト

ASTERIA Warpパートナーの方

ASTERIA Warpパートナーサイト
Login

パートナーライセンスの発行や各種ドキュメントのご提供をしています。

ページ先頭へ