クラウド化が進むデータウェアハウス(DWH)|データ連携のポイントと活用事例をご紹介

データウェアハウスDWHのクラウド化

データ活用(分析)の重要性とDWH

DXの実現が企業の大きな経営課題となり、DXに不可欠なデータ活用ニーズの高まりや、保有するデータ量の急拡大、リアルタイム 分析などに対応するため、データウェアハウス(DWH)の重要性がさらに高まっています。

DWH(Date warehouse)とは、直訳すると「データの倉庫」という意味で、複数のシステムから集めた多くのデータを分析しやすいように整理したビジネスデータのことです。
詳細はこちらの記事で解説しています。

DWHは、データ分析をサポートするためのメソッドやテクニック、ツールの集合体と考えることもできます。データは時系列、サブジェクトごとに整理され、分析に最適化されている点で、書き込みや読み取りなどに最適化されたDB(データベース)とは異なります。

また、様々なデータソースから収集したビッグデータを保管する点でデータレイクと混同されやすいですが、DWHでは、データレイクに格納されたデータを分析しやすいようにフォーマットを整え、整理してある点で異なります。

市場規模は今後拡大が予想されており、2021年8月3日にREPORT OCEANが発表したレポートによれば、世界のDWH市場は2020年から2028年にかけてCAGR(年平均成長率)10.7%で成長し、2028年には511億8,000万ドルに達するとの予測を示しています。

なぜDWHが必要とされているのか?

上述したとおり、企業におけるデータ分析、データ活用のニーズの高まりとともにDWHの必要性が高まっています。なぜDWHが必要とされているか、大きく3つのポイントが挙げられます。

(1)社内の各所にデータが散在しており、統合が必要

企業は複数のITシステムを同時に運用しており、システムごとに別々の場所にデータが保管されている場合があります。もし、データ分析を行いたいというときに、別々の場所にデータが散在している状態では、効率的な分析を行うことができません。

(2)データ分析のための準備にコストがかかる

分析に必要なデータが集まったとしても、データのフォーマットが統一されていなければ、分析可能な状態に加工するための時間や手間などのコストがかかってしまいます。

(3)長期間のデータを分析したいときにデータがない

さらに、基幹系システムなどでは、業務遂行に必要なデータ以外は、ディスクスペースの確保や処理速度維持などの理由から削除されることがあります。そのため長期間のデータを分析したいというときに、該当期間のデータがないというケースも考えられます。

これらの問題に対応するのが、大規模データの分析に特化したDWHということができるでしょう。

DWHを導入するメリット

DWHを導入することによるメリットには、次のようなポイントがあります。

(1)意思決定が迅速かつ精度が向上する

大規模データの分析を得意としているため、分析しやすいようにフォーマットが統一、整理されているDWHを活用することで、経営者が精度の高い意思決定を迅速に行うことを支援します。

(2)部門をまたいだデータ活用が可能

複数の部門(システム)からデータを集約し整理しているので、たとえば小売店の接客担当者が顧客の動向を確認するために、顧客情報や商品情報を分析したいというニーズに対しても、部門をまたいだデータ活用が可能です。

(3)データが統合されているため中身を理解しやすい

DWHでは、「ETL」と呼ばれるデータの抽出(Extract)、変換(Transform)、格納(Load)のプロセスが完了しており、中身が理解しやすい状態で整理してあります。

クラウド型DWHとオンプレミス型DWHの違い

DWHの提供形態は大きく「オンプレミス型」「クラウド型」の2つに分かれます。2つの型の違いについて以下で解説していきます。

オンプレミス型 自社でサーバーを設置するため、インターネットを介さず利用可能で高いセキュリティが期待できる。また、柔軟にカスタマイズ可能である反面、運用コストが高くなるデメリットもある。
クラウド型 インターネット上のクラウドからDWHを利用する形態。初期投資や運用コストを低減することや、将来のデータ拡大によるストレージ拡張も、プラン変更などで簡単に行える。

オンプレミス型はハードウェアやソフトウェアを購入し、自社に設置して運用する形態で、インターネットを介さずに利用できるため、通信環境に依存しない高速なデータアクセス、カスタマイズを自由に行えるメリットがあります。

一方、クラウド型は、オンプレミスの短所でもある、ハードウェアを中心としたサイジングの複雑さや初期投資の大きさを解消し、初期投資を抑えながらすぐにDWHを構築(利用)できる点がメリットです。

最近では、自然災害などでサーバーが壊れデータが失われるリスクが低い点なども評価され、クラウド型のDWHが増えてきています。

代表的なクラウドDWHをご紹介

大手クラウドベンダーをはじめ、多くのクラウド事業者からクラウドDWHサービスが提供されています。代表的なクラウドDWHサービスを3つご紹介します。

(1)AWS  との連携に優れたAmazon Redshift

AWS(Amazon Web Services)が提供する「Amazon Redshift」はAWSとの連携に優れ、Amazon Athenaをはじめとする他のAWSのサービスを使ってより詳細な分析が可能な点が特徴です。

(2)リアルタイムで分析できるGoogle Cloud BigQuery

Googleの「BigQuery」は、ペタバイト規模の膨大なデータもほぼリアルタイムで分析できるのが特徴です。また、Googleのプラットフォームと統合しているため、Google内にあるさまざまなツールとの連携がしやすいです。

「BigQuery」とデータ連携ツールを活用したデータ連携基盤づくりについては、こちらの無料配布資料で詳細を解説しています。

(3)クラウドDWHとして有名なSnowflake

Snowflake Inc.が提供する「Snowflake」は、マルチクラウドプラットフォームであり、ストレージとコンピュートノードが分離しているので同時に複数の分析が可能な特徴を備えます。

クラウドDWHの活用には「データ連携」が重要

そして、自社のビジネス課題に対応したクラウドDWHの活用に重要なポイントとして「データ連携」が挙げられます。

というのも、クラウドDWHに格納されるデータはすべてクラウド上のシステムにあるわけではなく、既存のオンプレミスの業務システムが使用するDBや、様々なSaaSアプリケーション、サービスに蓄積されているからです。

そこで、クラウドDWHにデータを統合するために、様々なシステム、サービス間を連携する「データ 連携ツール」を利用することが重要なポイントとなります。多様なシステムに標準的に連携できる汎用性の高さや、データウェアハウスに格納するために必要な、ETLツール同様のデータ加工を行うことができるプラットフォームを選ぶことが重要です。

データ連携ツールを使ってクラウドDWH活用に成功した事例

そして、データ連携ツールの中でノーコード開発でデータ連携を可能とするのが「ASTERIA Warp」です。実際に、ASTERIA Warpを活用してクラウドDWHと連携した以下のような事例があります。

クラウドDWH「Snowflake」と連携したニューノーマル対応にも有効なデータ活用システムを自社で構築

メディア事業やゲーム事業、インターネット広告事業を展開する株式会社サイバーエージェントは、新型コロナウィルス感染拡大によりリモートワークへ移行した際、急増したVPNやビデオ会議ツールの利用率を分析する環境を、クラウドDWH「Snowflake」とASTERIA Warpを連携させることで構築。利用状況の分析によりボトルネックを解決することに貢献しました。

多様なシステムと「Google BigQuery」を連携し、顧客ニーズに柔軟かつ俊敏に対応できるデータ連携基盤を実現

SCSK株式会社は、マーケティングや集客、コールセンターなどの顧客接点強化をサポートするソリューション「altcircle(オルトサークル)」を提供しています。その中の施策の一つとして、データを活用した顧客企業の売上向上に貢献するサービスを発案し、訪日外国人の購買行動に関するデータを収集・加工、マーケティング施策に活用できるデータを提供するシステムを構築しました。そのため、幅広い業種に合うデータを、多様なシステムから収集し、複雑なデータ加工をする必要がありました。

そこで、ASTERIA Warpと「Google BigQuery」を連携して、複雑なデータ連携を容易にし、簡単なデータ処理ならわずか数十分で開発を可能にするなど、開発工数の削減に大きく貢献しました。これにより、今後のサービス拡大のなかで想定されるデータ連携ニーズに柔軟、かつ俊敏に対応できるデータ連携基盤を実現しています。

まとめ

ASTERIA Warpは様々なシステムやサービスとDWHを迅速にノーコードで連携させることが可能なデータ連携ツールです。

ドラッグ&ドロップの直感的な操作でデータ連携を実現できるノーコード開発により、短納期で内製化による開発が可能な特長を生かし、データ分析、利活用を進め、DXを成功に導いてみてはいかがでしょうか。

関連資料



クラウド版

使い方いろいろ!
手ぶら de ASTERIA Warp
体験 5日間

サーバー準備の手間なくデータ連携ツール「ASTERIA Warp」の
全ての機能を5日間お試しいただけます。

今すぐ体験してみる 書籍の詳細についてはこちらをご覧ください。
基礎と実践 使い方マニュアル
「ASTERIA Warp、データ分析、クラウド、業務効率化、最新技術」人気!ホワイトペーパーダウンロード受付中!今すぐチェック
ASTERIA Warpと色々つないでみた特集!記事はこちら>

ASTERIA Warp 関連サイトのご紹介

X ASTERIA Warp Developer Network(ADN)サイト

技術情報をお探しの方

ASTERIA Warp Developer Network
(ADN)サイト

ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。

X ASTERIA Warpユーザーグループ(AUG)

ASTERIA Warpデベロッパーの方

ASTERIA Warp オンラインコミュニティ
ADN slack

ASTERIA Warpデベロッパー同士をつなげ、技術情報の共有やちょっとしたASTERIA Warpの疑問解決の場とすることを目的としたコミュニティです。

X ASTERIA Warpユーザーサイト

ASTERIA Warpユーザーの方

ASTERIA Warpユーザーサイト
Login

製品更新版や評価版のダウンロード、各種ドキュメントのご提供、また 技術的なお問合せもこちらで受付ています。

X ASTERIA Warpパートナーサイト

ASTERIA Warpパートナーの方

ASTERIA Warpパートナーサイト
Login

パートナーライセンスの発行や各種ドキュメントのご提供をしています。

ページ先頭へ