DWH（データウェアハウス）は、企業内の複数システムで取り扱う膨大なデータを統合し、時系列ごとに蓄積することが可能なデータベースです。企業戦略において迅速な意思決定を求められるようになった昨今、精度の高い効果的なデータ分析を行うためには、DWHは欠かすことができません。
そこで本記事では、DWHの定義や類似した言葉との比較をはじめ、メリットやデメリットなどについて分かりやすく解説していきます。
目次
DWH（Date warehouse）とは直訳するとデータの倉庫という意味です。複数のシステムから集めた多くのデータを分析しやすいように、「売上」や「顧客」といったサブジェクト(項目)ごとに整理したデータのことです。
企業では多くのデータを取り扱っていますが、業務で使うためのデータベースは社内のあちこちに分散しており、集約や整理がされていません。データを集約しておくことで、各部門が共通した認識を持ち問題解決に向けより良い方法を考えられるようになります。
また、多くのデータを集約しておくことで、のちにBI(ビジネスインテリジェンス）ツールとしての活用も可能になります。
DWHは膨大なデータを効率よく処理するため、一般的に3つの層（階層）で構成されています。最下層にはデータを保存・管理するデータベースサーバーがあり、中間層にはデータのアクセスや分析を高速に行うための分析エンジンが配置されます。最上層には分析結果を可視化するフロントエンドが存在し、企業データをスムーズに活用できる役割を果たします。
DWHはどのように使われるものなのか、混同されがちな言葉との違いと共に紹介します。
DBは、さまざまなシステム上で蓄積されたままのデータで、書き込みや読み取りなど使用するのに最適化した状態です。
それに対し、DWHはデータを整理した状態で、分析することに最適化しています。データの形式は揃っており、データは時系列で収集してサブジェクトごとに整理してあるので、詳細に分析可能です。
また、DWHはDBよりも大きな容量を扱えます。容量が大きいとDBではサマリデータとして蓄積することになりますが、要約では分析しにくいです。DWHなら目的に応じた整理方法でデータを管理することができます。
データレイクとは、さまざまなソースから集めたビックデータを、元のフォーマットのままで格納する領域です。DWHのように構造化されたデータだけはなく、動画・画像・eメールなど、構造定義がされていない非構造化データも格納できることが特徴です。ただし、未加工のまま保管されているため、分析向きではありません。
DWHではデータレイクに格納されたデータのフォーマットを揃え、分析しやすいようにファイル化するなど、整理された状態で格納して あります。
データマートは、DWHのように整理されたデータ群ですが、サブジェクトごとに細かく切り取られていて用途が制限されています。例えば、「売上データ」「顧客データ」などです。
DWHはサブジェクトごとに整理はされていますが切り取られてはおらず、より大きなデータ群となります。
BIとは、Business Inteligence（ビジネス・インテリジェンス）の略称です。企業の経営戦略のための意思決定に活用することを目的として、各部門や部署に蓄積されたデータを収集・分析・加工することを指しており、BIの実現に不可欠なツールのことをBIツールといいます。
DWHに蓄積されている目的に合わせて整理されたデータを、より分析しやすいようにレポートやグラフのような形式で可視化させる役割があり、組み合わせることで膨大なデータをより分かりやすい形にして活用することができます。
こちらの無料ダウンロード資料では、DWH、BIツールを活用した、継続的に業務に生かすためのデータ分析基盤の作り方をご紹介しています。
DWHを利用すると、次のようなメリットがありますのでご紹介します。
データを分析しやすいようにフォーマットが揃えてあり、時系列やサブジェクトごとに確認できるようになっています。分析しやすいのでデータに基づいた精度の高い意思決定を迅速に行うことが可能です。
緊急性のある問題に対応する際も、経営者の勘や急いで準備した不完全なデータに頼ることがなくなります。
DWHは複数の部門からデータを集約し整理しているので、部門をまたいだデータ活用ができます。
例えば、小売店の接客担当者が顧客の動向を確認するために、顧客情報や商品情報を分析したいというニーズがあるとします。販売管理システムのDBからデータを抽出・加工し分析することは可能ですが、時間がかかります。
DWHでデータが整理されていれば、いつでも分析を開始できます。また、大きなデータを扱えるので、より長期間のデータをもとに分析が可能です。
DWHで取り扱われるデータはETLというプロセスが完了しています。ETLとは、Extract Transform Load（抽出、変換、格納）の略で、データを統合する際に発生するものです。複数のシステムから顧客データを収集する際、重複している顧客データがあることで、本来であれば1人分のデータであるはずが複数人のデータとして取り扱われることがあります。そこで、DWHに収集する過程で、ETLを利用し重複データの統合を行うことにより、整合性がとれた理解しやすいデータを蓄積することができます。データ統合の目的については「データ統合の目的とは？メリット、方法、進め方もあわせて解説」で詳しく紹介しています。
DWHは、さまざまな業界のビジネスシーンにおける課題解決や戦略立案に利用されています。特定の業務に限定されず、全社的な情報を横断的に掛け合わせることで、新たな知見を得ることが可能です。ここでは、企業におけるDWHの具体的な用途や分析事例について詳しく紹介します。
顧客の購買履歴や行動データ、ウェブサイトでの閲覧履歴、アンケート結果など、複数のシステムに分散している情報をDWHに統合して分析します。
各顧客の詳細なプロファイルや行動パターンを時系列で正確に把握することで、より個別のニーズに合わせた最適なマーケティング施策の実行や、新しいサービスの提供につなげることが可能です。また、優良顧客の共通点を見つけ出して新規獲得に活かしたり、解約のリスクが高い顧客を早期に発見して適切なフォローアップを行ったりする用途にも幅広く役立てられています。
過去の膨大な取引データを時系列で蓄積・保持しているDWHの特徴を最大限に活かし、通常のパターンとは異なる不審な取引を瞬時に抽出して検知します。
従来のデータベースでは処理に時間がかかっていた大量の照合も、DWHの高い処理能力を用いることでリアルタイムに近い形で分析を実行できます。これにより、クレジットカードの不正利用や金融犯罪を迅速に発見し、被害を未然に防ぐことが可能になります。金融機関だけでなく、ECサイトなどでも安全な取引環境を維持するために重要な役割を担っています。
DWHのデメリットは、あらかじめ決められたデータのみを取り扱う点です。そのため定型分析は得意ですが、変則的な分析や頻繁なデータの追加・更新・削除は苦手です。どのようなデータが欲しいのか、目的をはっきりさせたうえでDWHを使い始める必要があります。
また、膨大なデータを取り扱うためのシステム構築・管理・維持のコストも課題です。特にサーバーなども自社で用意するオンプレミスでの運用は、費用がかかります。
DWHは導入して終わりではなく、運用フェーズにおいてもいくつかの課題に直面することがあります。ここでは、システムを安全かつ効果的に運用していくためにあらかじめ知っておくべき注意点について解説します。
DWHには顧客の個人情報や企業の営業秘密など、非常に機密性の高い重要データが一箇所に集約されることになります。そのため、万が一不正アクセスや情報漏洩などのインシデントが発生した場合、企業にとって取り返しのつかない大きなリスクとなります。
こうした事態を防ぐため、強固なセキュリティ対策ソリューションを導入することは不可欠です。さらに、従業員の部署や役職に応じてアクセス権限を厳格に設定し、定期的な監査を実施するなど、適切なデータガバナンスの体制を構築しておくことが強く求められます。
よく使われているDWHのシステムをご紹介します。
Googleが提供するBigQueryは、クラウド型のDWHです。サーバレスなのが特徴で、ペタバイト規模の膨大なデータもほぼリアルタイムで分析できます。また、Googleのプラットフォームと統合しているので、Google内にあるさまざまなツールとの連携がしやすいです。
AWS（Amazon Web Service）が提供するAmazon Redshiftも、クラウド型のDWHです。AWSとの連携に優れていて、Amazon AthenaやAmazon EMRなどのAWSの他のサービスを使ってより詳細な分析も可能です。
2012年創業のSnowflake Inc.が提供するクラウド型DWHは、マルチクラウドプラットフォームであり、ストレージとコンピュートノードが分離しているので同時に複数の分析ができます。 Snowflake連携については「Snowflake連携とは？データ連携の方法と進め方を解説」で詳しく紹介しています。
自社に最適なDWH製品を導入するためには、あらかじめ目的を整理し、必要な要件定義を明確にしておくことが大切です。ここでは、具体的なツールやサービスを選定する際に確認すべき重要なポイントを解説します。
システムを横断して収集した膨大なデータをストレスなく分析し、迅速な意思決定を行うためには、製品自体に高い処理速度が備わっていることが大前提となります。自社の業務において要求されるパフォーマンスを満たしているか、事前に十分な検証を行うことが重要です。
また、企業が蓄積するデータ量は年々増加していく傾向にあるため、初期段階の要件だけでなく、将来的なデータ増大を見据える必要があります。必要に応じて容易にストレージ容量やコンピュートリソースを拡張できるソフトウェアやサービスを選ぶことが推奨されます。
DWHは単体で完結するものではなく、データを抽出する社内の基幹システムや、分析に用いるBIツールなどと組み合わせて使用する中継的なシステムです。そのため、既存の業務環境とスムーズに連携できる機能を備えているかどうかを必ず確認する必要があります。
データの移行やフォーマット変換をサポートするアダプターが用意されていたり、API連携が容易なソリューションを選択したりすることで、導入や運用の負荷を大きく軽減できます。複雑な開発を伴わずにデータをつなげるかどうかが、導入成功の鍵を握ります。DWH連携については「DWH連携とは｜データを集める方法とETL/ELTの使い分けを解説」で詳しく紹介しています。
DWHはサーバーの形態によって大きく2つに分かれます。
前章でよく使われているシステムを紹介しましたが、現在はクラウド型のDWHが増えてきています。理由としては、コスト面の他に、DWHはデータを蓄積しながら使うので拡張がしやすいためです。また、自然災害などでサーバーが壊れ、データが失われるリスクが低い点も評価されています。
クラウド型DWHの詳細はこちらの記事をご覧下さい。
クラウド型の普及に加えて、近年ではAIや機械学習技術と緊密に連携できるDWH製品がトレンドとなっています。これまでは専門的な知識を持つデータサイエンティストが必要だった高度な分析作業も、最新のテクノロジーによって自動化されつつあります。
例えば、蓄積された履歴データから自動的に将来の需要予測モデルを生成したり、ビジネス部門の担当者が自然言語を用いて簡単にデータ抽出を行えたりする機能が搭載されています。このような進化により、誰もが直感的にデータを活用できる環境が急速に整ってきています。
DWHで取りまとめたデータを活用するには、BIやその他のツールやシステムと連携させることが重要です。しかし重要であることはわかっていても、ツールやシステム同士の連携のための開発が難しいと考える企業も多くあります。
ASTERIA Warpはデータ連携を自動化できるノーコード開発ツールです。ASTERIA Warpでは次のような導入事例があります。
メディア事業やゲーム事業、インターネット広告事業を展開している株式会社サイバーエージェントは、サービスごとに最適なテクノロジーを採用していました。収集したデータの管理や蓄積についても、別のソフトウェアやサービスで行っていました。これらのデータを連携させるため、AWSアダプターやBigQueryアダプターなどを用いてノーコードで売り上げ管理システムを再構築、工期は3日間でした。
サイバーエージェントの詳しい事例についてはこちらからご覧ください。
ベビー・子供服の企画・生産・販売を国内外に向けて行う株式会社F・O・インターナショナルは、より的確な販売戦略の立案のために、全社の事業のデータ集約と分析をすることにしました。現場の業務用システムとは別にデータ利活用のための分析システムを立ち上げ、業務用システムからデータを集約させました。
ASTERIA Warpが選ばれた理由は、アイコンをドラッグ&ドロップするだけでデータ連携フローを追加できるという点です。収集・分析するだけでなく、要求に応じてデータをDWHからエクセル形式に出力するシステムも開発し、意思決定の精度の向上に役立てています。
株式会社F・O・インターナショナルの詳しい事例についてはこちらからご覧ください。
DWHとは企業のあちこちに分散しているデータを集約し、分析しやすい形で整理しておくシステムです。企業の意思決定がよりスピーディになる上、データに基づいているため精度も上がります。
また、全社的に集約することで部門による認識の差が起こりにくく、フォーマットを揃えることで内容が確認しやすいのもメリットです。データが多く集まればBIツールなどでも活用できます。
BIツールの活用については、こちらのページを確認してください。
DWHには自社でサーバーを運用するオンプレミス型とクラウド型がありますが、膨大なデータを扱うため拡張しやすく自然災害への対応も可能なクラウド型が主流になりつつあります。
ASTERIA WarpではさまざまなシステムをDWHと連携させるシステムをノーコードで開発することが可能です。ドラッグ&ドロップでデータ連携を追加できるノーコード開発なので、工期も短く内製化できます。内製化しているためツールの追加や変更にも柔軟に対応で、将来的な機能拡張にも使いやすいです。ASTERIA WarpとDWHを使ったデータ活用については、こちらの資料もおすすめです。
PM・SE・マーケティングなど多彩なバックグラウンドを持つ「データ連携」のプロフェッショナルが、専門領域を超えたチームワークで「データ活用」や「業務の自動化・効率化」をテーマにノウハウやWarp活用法などのお役立ち情報を発信していきます。
Related Posts
ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。
アステリア製品デベロッパー同士をつなげ、技術情報の共有やちょっとしたの疑問解決の場とすることを目的としたコミュニティです。
