目次
データを保存・分析するために運用されるデータマートについて、以下で改めて詳しく解説します。
「データマート」とは、企業で収集・蓄積している膨大なデータの中から、各部門で必要とするデータを選び出し、使いやすいように保存したデータベースのことです。膨大なデータを管理しているシステムには様々な種類がありますがデータマートはそのひとつです。
データマートに似ているシステムに「データウェアハウス」と「データレイク」があります。以下ではこれらのシステムとデータマートの違いなどを解説します。
| データマート | データウェアハウス（DWH） | データレイク | |
|---|---|---|---|
| 特徴 | 特定の細かなデータを切り出し、目的や部署ごとに使いやすく管理しておくのに向いている 比較的安価 |
大規模の構造化データを管理しておくのに向いている 導入規模が大きいためコスト・時間がかかる |
非構造化データまでも管理しておくことができる |
| データの使用範囲 | 部門ごと | 部門・全社共通 | 全社共通 |
| データの構造 | 構造化データ | 構造化データ | 非構造化データ |
| サイズ | 100GB未満 | 100GB～ | 100GB～ |
データマートは、名前にもあるとおりデータの小売店（マート）です。小売店に陳列されている商品のように、各部門で必要な情報がカテゴリー分けされています。決してデータの保存量が多いわけではないですが、DWHやデータレイクから各部門に必要な情報を整理したうえで管理できるため、分析担当者がすぐに取り出せて利用できる収納庫として位置づけられています。
データウェアハウス（DWH）は、各部門から集めた情報を分析しやすいよう整理し蓄積しているシステムです。データウェアハウスとデータマートの違いは、保存しているデータの大きさにあります。
データウェアハウスは、「データマートに届ける情報を溜めておく倉庫」をイメージすると分かりやすいかもしれません。
企業の全データを、分析しやすいように整理して保存しているのがデータウェアハウスで、各部門ごとに必要な情報をデータウェアハウスから抽出・加工して保存しているのがデータマートです。
データウェアハウスについての詳細は、こちらからご確認ください。
データレイクとは、細分化や加工がされていないデータをそのまま保存できる保管庫のことを言います。構造化データや動画、音声、SNSのログなどの非構造化データを含めて、企業にとって必要な情報を何でも保存できます。
データレイクは、データウェアハウスに整理される前の非構造化データ含む全てのデータを貯めこんでおく湖というイメージが近いでしょう。
そこから必要な構造化データをデータウェアハウス（DWH）に整理し、そこからまた部門ごとに分析をしやすい形で管理をしているのがデータマートです。
一口にデータマートと言っても、次のような種類があります。
以下で詳しく解説します。
従属型データマートは、企業内のデータウェアハウスから抽出したデータを特定の部署や業務に合わせて再構築したデータベースのことを指します。つまり、企業全体で利用されるデータウェアハウスから必要なデータを抽出し、そのデータを特定の業務に特化した形で整理・再構築することで、より使いやすく・扱いやすくしたものです。
従属型データマートの最大の特徴は、そのデータが特定の業務や部署に特化されていることです。そのため、その部署や業務で必要なデータのみを集め、そのデータをより効率的かつ正確に解析することができます。また、データウェアハウスと比べて小規模なため、データの把握や管理がしやすく、データの利用にかかるコストも低くなります。ただし、その一方で、企業内のデータウェアハウスありきでのデータマートとなるため、データウェアハウスが導入されている場合には問題ないものの、未導入の場合にはデータウェアハウスの導入から検討が必要です。
独立型データマートは、データウェアハウスを使用せずに社内または外部のデータベースなどからデータを収集し、加工した後にデータを保存する形式のデータマートです。従属型データマートとは異なり、独立したシステムであり他のシステムに依存しません。このため、独立型データマートは、各部門のニーズに応じて自由に設計、構築、利用することができます。
一方で、各部署でそれぞれデータマートに入れるための処理を行う必要が出てくるので、スピード感は従属型データマートと比較すると劣る可能性があります。しかし、データウェアハウスを構築していなくとも導入ができるため、データウェアハウス未導入の場合にはまずはチームごとにスモールスタートを行い、後々全社のデータを横断できるデータウェアハウスの導入に踏み切るなどが可能です。予算や導入までの時間がない場合は、独立型データマートを先に作っておくという方法も一手です。
ハイブリッド型データマートは、独立型データマートと従属型データマートのどちらもの特徴を持つデータマートです。既存のデータウェアハウスと他のデータベースからデータを抽出し、加工して作られます。ハイブリッド型データマートでは、異なるソースからのデータを統合することができ、独立型データマートよりも柔軟性が高く、従属型データマートよりも管理が簡単なのも特徴です。
また、ハイブリッド型データマートは、開発や分析スキルを持った人だけではなく、ビジネス部門に対する支援を提供することに重きを置いており、ビジネスユーザーがデータを分析しやすいのも特徴でしょう。ただし、構築の際にはデータ統合のための適切な設計や管理が必要であり、専門的な知識や技術が必要とされるため業者や構築の際には見極めが必要でしょう。
データレイクやデータウェアハウスとある中で、データマートを選ぶメリットには次のような理由があります。
以下で詳しく解説します。
データマートは各部門で使いやすい形式にデータを加工しているため、扱いやすい点がメリットです。使う側のユーザーやシステムの要件に応じて改変しているため、使う側専用のデータベースと言えます。改変しても他への影響がなく、柔軟に利用できます。
データマートは短期間で構築・実装できるのが魅力です。特に独立型マートの場合、一週間ほどで構築が可能です。データが点在しており使いづらい場合には実装のスピード感も重要です。自社の状態に合わせてデータマートの種類やデータウェアハウス・データレイクと比較検討しましょう。
データウェアハウスと比べてコストが安く導入できるのもメリットです。システムは複雑になるほどコストや導入までの日数がかかるものです。データマートは扱えるデータの量が少ない分、安価で導入できます。
データマートにはメリットがある反面、次のようなデメリットがあることも把握しておく必要があります。
以下で詳しく解説します。
データマートはデータウェアハウスに比べると、導入時のコストは安く済みます。しかし、維持するためにコストがかかる点がデメリットと言えます。導入だけして使う頻度が低い場合、導入コストよりもメンテナンスなどに維持費がかかってしまいます。
会社の規模によっては、データマートでは共有が追いつかない場合があります。データマートは小規模なデータを扱うのを得意としています。データ量が多くなると、データの処理が追いつかず共有できない恐れもあります。
データマートが得意なのは単一データです。複雑で多角的な分析には向いていません。いくつものデータを必要とするような分析には適しておらず、新しい視点を得られにくい点がデメリットです。
最近では顧客のニーズの変化が激しくなっており、データマートだけでは対応しきれない可能性もあります。要件に合わせてデータマートを増やしていくとなると修正などに多くの手間やコストがかかってしまうため、運用の中でデータ活用の見直しは都度必要です。
データマートの全体像を明確にするため、必要なデータ要件を明らかにし、データマートの目的や構築方針を決定します。
ビジネスサイドでは「どのような目的でいつどのように使用されるのか」というビジネス要件を、技術サイドでは「データ収集は業務の中でどのようにされるか」という技術要件を整理しましょう。
その後、必要なデータを収集するためのデータソースの選定や、データの取得方法も決定します。次はその中からデータマートで取り扱うサブセットを選定すれば、実装するためのデータマートの構造を設計することができます。
続いてデータマートに必要なデータベースを構築します。データベースの設計には、データマートに必要なデータ構造を考慮する必要があります。その際、現場のユーザーが必要なデータに素早くかつ簡単にアクセスできるように配慮しなければなりません。物理データベース・ストレージ構造を作成したうえで、社内の他のシステムとの統合などもこの段階で行います。
データマートに必要なデータを収集し、データベースに移行します。この際、データの品質チェックやクレンジングも行います。いきなり移行するのではなく、まずはデータマートの外で元となるデータソースから、取得すべきデータのマッピングを行い、クレンジングとデータ形式の変換を行います。データが整理できた後にデータマートへの移行を行います。
データマートが稼働し始めたら、定期的なシステム最適化や管理が必要です。データマートのパフォーマンス監視や、データの更新や削除、バックアップ・リカバリーなどの運用管理を行います。また、利用者の要望に応じて、データマートの機能拡張や改善も行いましょう。
データマート、データウェアハウス、データレイクのうち、結局どれを選ぶべきかの基準を解説します。
どのようなデータを分析し、活用するか利用目的を明確にすることが重要です。そのため、企業の規模や利用目的に合わせて選ぶことをおすすめします。取り扱うデータ量が多くなく、特定の分野に絞った使い方ならデータマートを選ぶといいでしょう。短期間で構築できて、導入コストが安いという特徴があります。
ただし、データマートからデータウェアハウスへの移行は難しいため、目的次第ではデータウェアハウスの導入を検討するのが良いでしょう。
構造化データ、非構造化データなど、大量のデータを扱うのであれば、データレイクの導入を考慮すべきです。
あらかじめ予算を決めておくことで、迷わずに管理システムの導入ができます。最初に述べたとおりデータウェアハウスやデータレイクがあれば社内の全てのデータを貯めたうえで活用することができますが、導入・運用には大きなコストが発生します。その反面データマートは低価格で導入は可能となっています。自社の使い方と合わせていくらまで導入・運用に費用をかけられるかを算出したうえでツール選定に移るのがおすすめです。
また、データを貯めるだけではなくその分析のためにBIツールを導入する必要があります。それらを踏まえたうえでデータを貯め・分析するためにはどのくらい費用をかけられるかを社内で算出しておきましょう。
データマートを選ぶ際は、どんな製品があるのか比較してみると良いでしょう。データマートにも従属型データマート・独立型データマート・ハイブリッド型など先に紹介した様々な種類があります。合わせてどんな機能を備えているのかなど、製品によって違いがあります。それらを検討したうえで選ぶと良いでしょう。
データマートを活用することで、様々な企業や業界で社内でのデータ管理を簡単に行うことが出来ます。今回はそれぞれのシステムのデータ連携を行うことが出来るデータ連携ツール「ASTERIA Warp」を使った活用事例でご紹介します。「ASTERIA Warp」を活用することで社内に点在している様々なデータや様々なシステムを連携することが出来、今あるデータを有効に活用することが可能です。
三協立山株式会社は、三協アルミと立山アルミが合併して誕生しました。その際、合併した各社で異なるメーカーのシステム等を保持していたため、複数のシステムからデータを収集する必要がありました。さらに、散らばった実績のデータを分析する際、複数のシステムからデータを収集し、Excelなどで再加工する手間がありました。
そこで、分散していた各システムを一元化・標準化し、ASTERIA Warpを経由してアクセスできるようにしたのです。結果、データマートのデータをBIツールで簡単に分析できるようになりました。
導入事例についての詳細は、こちらからご確認ください。
当記事ではデータマートについてご紹介しました。データマートはデータを保存する管理システムの一つです。他にもデータウェアハウスやデータレイクといったシステムがあります。
データマートには次のようなメリットがあります。
導入や運用がし易い反面、以下のようなデメリットもあります。
これらの特徴を踏まえたうえで、自社に必要な管理システムを導入しましょう。
関連する資料を以下にご紹介します。ご参考になさってください。
ビジネスにおいて様々なデータに基づいて判断・アクションすることが急務となっているなか、データ活用基盤をどう整備していくべきなのか、頭を悩ませている情報システム部門の方は少なくない。経営層や現場からデー...
データ連携って何？
“データ連携”という言葉を聞いたことがありますか？売上データ、顧客データ、人事データなど、企業は数多くのデータを扱っています。それらのデ...
BIによるデータ分析がうまく続かない理由とは？
企業の業務システム内に存在する有益な情報をうまく活用し、生かすためには、データ分析の基盤となるDWHを構築し、分析を継続的に行うためのBIツールを使いこなしていくことが重要になる。しかし、データ分析基...
ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。
ASTERIA Warpデベロッパー同士をつなげ、技術情報の共有やちょっとしたASTERIA Warpの疑問解決の場とすることを目的としたコミュニティです。
