クラウド化が進むデータウェアハウス(DWH)、DX推進におけるデータ活用を成功に導く「データ連携」のポイントとは?

データウェアハウスDWHのクラウド化

データ活用(分析)の重要性とDWH

DXの実現が企業の大きな経営課題となり、DXに不可欠なデータ活用ニーズの高まりや、保有するデータ量の急拡大、リアルタイムの分析などに対応するため、データウェアハウス(DWH)の重要性がさらに高まっています。

DWH(Date warehouse)とは直訳すると「データの倉庫」という意味で、複数のシステムから集めた多くのデータを分析しやすいように整理したビジネスデータのことです。詳細はこちらをご覧ください。

DWHは、データ分析をサポートするためのメソッドやテクニック、ツールの集合体ということもできます。データは時系列、サブジェクトごとに整理され、分析に最適化されている点で、書き込みや読み取りなどに最適化されたDB(データベース)とは異なります。

また、様々なデータソースから収集したビッグデータを保管する点でデータレイクと混同されやすいですが、DWHでは、データレイクに格納されたデータを分析しやすいようにフォーマットを整え、整理してある点で異なります。

2021年8月3日にREPORT OCEANが発表したレポートによれば、世界のデータウェアハウス市場は2020年から2028年にかけてCAGR(年平均成長率)10.7%で成長し、2028年には511億8,000万ドルに達するとの予測を示しています。

なぜDWHが必要とされているのか?

上述したとおり、企業におけるデータ分析、データ活用のニーズの高まりとともにDWHの必要性が高まっています。なぜDWHが必要とされているか、大きく3つのポイントが挙げられます。

(1)社内の各所にデータが散在しており、統合が必要

企業は複数のITシステムを同時に運用しており、システムごとに別々の場所にデータが保管されている場合があります。もし、データ分析を行いたいというときに、別々の場所にデータが散在している状態では、効率的な分析を行うことができません。

(2)データ分析のための準備にコストがかかる

分析に必要なデータが集まったとしても、データのフォーマットが統一されていなければ、分析可能な状態に加工するための時間や手間などのコストがかかってしまいます。

(3)長期間のデータを分析したいときにデータがない

さらに、基幹系システムなどでは、業務遂行に必要なデータ以外は、ディスクスペースの確保や処理速度維持などの理由から削除されることがあります。そのため長期間のデータを分析したいというときに、該当期間のデータがないというケースも考えられます。

これらの問題に対応するのが、大規模データの分析に特化したDWHということができるでしょう。

DWHの形態とクラウドのメリット

DWHを導入することによるメリットには、次のようなポイントがあります。

(1)意思決定が迅速かつ精度が向上する

大規模データの分析を得意とし、分析しやすいようにフォーマットが統一、整理されているDWHを活用することで、経営者が精度の高い意思決定を迅速に行うことを支援します。

(2)部門をまたいだデータ活用が可能

複数の部門(システム)からデータを集約し整理しているので、たとえば小売店の接客担当者が顧客の動向を確認するために、顧客情報や商品情報を分析したいというニーズに対しても、部門をまたいだデータ活用が可能です。

(3)データが統合されているため中身を理解しやすい

DWHでは、「ETL」と呼ばれるデータの抽出(Extract)、変換(Transform)、格納(Load)のプロセスが完了しており、中身が理解しやすい状態で整理してあります。

また、DWHにはサーバーの形態によって大きく「オンプレミス型」「クラウド型」の2つに分かれます。

オンプレミス型 自社でサーバーを設置するため、インターネットを介さず利用可能で高いセキュリティが期待できる。また、柔軟にカスタマイズ可能である反面、運用コストが高くなるデメリットもある。
クラウド型 インターネット上のクラウドからDWHを利用する形態。初期投資や運用コストを低減することや、将来のデータ拡大によるストレージ拡張も、プラン変更などで簡単に行える。

オンプレミス型はハードウェアやソフトウェアを購入し、自社に設置して運用する形態で、インターネットを介さずに利用できるため、通信環境に依存しない高速なデータアクセス、カスタマイズを自由に行えるメリットがあります。

一方、クラウド型は、オンプレミスの短所でもある、ハードウェアを中心としたサイジングの複雑さや初期投資の大きさを解消し、初期投資を抑えながらすぐにDWHを構築(利用)できる点がメリットです。

最近では、自然災害などでサーバーが壊れデータが失われるリスクが低い点なども評価され、クラウド型のDWHが増えてきています。

クラウドDWHの活用には「データ連携」が重要

大手クラウドベンダーをはじめ、多くのクラウド事業者からクラウドDWHサービスが提供されています。代表的なクラウドDWHサービスを3つご紹介します。

(1)AWS  との連携に優れたAmazon Redshift

AWS(Amazon Web Services)が提供する「Amazon Redshift」はAWSとの連携に優れ、Amazon Athenaをはじめとする他のAWSのサービスを使ってより詳細な分析が可能な点が特徴です。

(2)リアルタイムで分析できるGoogle Cloud BigQuery

Googleの「BigQuery」は、ペタバイト規模の膨大なデータもほぼリアルタイムで分析できるのが特徴。また、Googleのプラットフォームと統合しているため、Google内にあるさまざまなツールとの連携がしやすいです。

(3)クラウドDWHとして有名なSnowflake

Snowflake Inc.が提供する「Snowflake」は、マルチクラウドプラットフォームであり、ストレージとコンピュートノードが分離しているので同時に複数の分析が可能な特徴を備えます。

そして、自社のビジネス課題に対応したクラウドDWHの活用に重要なポイントとして「データ連携」が挙げられます。

というのも、クラウドDWHに格納されるデータはすべてクラウド上のシステムにあるわけではなく、既存のオンプレミスの業務システムが使用するDBや、様々なSaaSアプリケーション、サービスに蓄積されているからです。

そこで、クラウドDWHにデータを統合するために、様々なシステム、サービス間を連携する「データの連携ツール」を利用することが重要なポイントとなります。多様なシステムに標準的に連携できる連携性の高さや、データウェアハウスに格納するために必要なETLツール同様のデータ加工を行うことができるプラットフォームを選ぶことが重要です。

データ連携ツールを使ってDWH活用に成功した2つの事例

そして、データ連携ツールの中でノーコード開発でデータ連携を可能とするのが「ASTERIA Warp」です。実際に、ASTERIA Warpを活用してクラウドDWHと連携した事例や、ETLツールとして活用した以下のような事例があります。

(1)クラウドDWH「Snowflake」と連携したニューノーマル対応にも有効なデータ活用システムを自社で構築

メディア事業やゲーム事業、インターネット広告事業を展開するサイバーエージェントは、新型コロナウィルス感染拡大によりリモートワークへ移行した際、急増したVPNやビデオ会議ツールの利用率を分析する環境を、クラウドDWH「Snowflake」とASTERIA Warpを連携させることで構築。利用状況の分析によりボトルネックを解決することに貢献しました。

(2)AWS上に保存されたPOSデータ収集・加工のETLツールとしてASTERIA Warpを活用

イオンを中心とするショッピングモールやレストラン、フードコーなどを展開するイオンイーハートでは、社内データが散在しており、データ加工に膨大な工数が発生していました。また、各部門がそれぞれ分析したデータを使用し、売上数字の認識差異等が発生していました。そこで、データの統合・分析に必要なデータ加工の工数削減のため、仕様変更等に柔軟に対応できる内製可能なETLツールとして、AWSに特化したアダプターを備えたASTERIA Warpを採用。約1ヶ月で新規システムをリリースし、自社での開発内製化にも成功しました。

まとめ

ASTERIA Warpは様々なシステムやサービスとDWHを迅速にノーコードで連携させることが可能なデータ連携ツールです。

ドラッグ&ドロップの直感的な操作でデータ連携を実現できるノーコード開発により、短納期で内製化による開発が可能な特長を生かし、データ分析、利活用を進め、DXを成功に導いてみてはいかがでしょうか。

関連資料



クラウド版

使い方いろいろ!
手ぶら de ASTERIA Warp
体験 5日間

サーバー準備の手間なくデータ連携ツール「ASTERIA Warp」の
全ての機能を5日間お試しいただけます。

今すぐ体験してみる 書籍の詳細についてはこちらをご覧ください。
基礎と実践 使い方マニュアル
「ASTERIA Warp、データ分析、クラウド、業務効率化、最新技術」人気!ホワイトペーパーダウンロード受付中!今すぐチェック
ASTERIA Warpと色々つないでみた特集!記事はこちら>

ASTERIA Warp 関連サイトのご紹介

X ASTERIA Warp Developer Network(ADN)サイト

技術情報をお探しの方

ASTERIA Warp Developer Network
(ADN)サイト

ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。

X ASTERIA Warpユーザーグループ(AUG)

ASTERIA Warpデベロッパーの方

ASTERIA Warp オンラインコミュニティ
ADN slack

ASTERIA Warpデベロッパー同士をつなげ、技術情報の共有やちょっとしたASTERIA Warpの疑問解決の場とすることを目的としたコミュニティです。

X ASTERIA Warpユーザーサイト

ASTERIA Warpユーザーの方

ASTERIA Warpユーザーサイト
Login

製品更新版や評価版のダウンロード、各種ドキュメントのご提供、また 技術的なお問合せもこちらで受付ています。

X ASTERIA Warpパートナーサイト

ASTERIA Warpパートナーの方

ASTERIA Warpパートナーサイト
Login

パートナーライセンスの発行や各種ドキュメントのご提供をしています。

ページ先頭へ