データを分析し活用するためには、データの収集が欠かせません。自社のDXを推進し、生産性向上や業務効率化を図るためにどのようなデータが必要で、どのように収集を行えばいいのか悩んでいる方も多いでしょう。この記事では、データ収集の種類や課題を踏まえたうえで、データ収集の方法を解説していきます。
目次
データ収集とは、自社に関わる様々なデータを集めて蓄積していくことです。収集したデータを元に経営課題の分析や戦略立案などに活用することができます。一口にデータと言っても様々な情報源があり、各部門の業務システムやWebサーバー、IoTや外部サービスなど、自社で保有しているデータの他、外部のオープンデータなど多岐に渡ります。
収集したデータの活用方法についてはこちらの記事にて詳しく解説しています。
データ収集は、「分析目的の明確化」「データ収集」「データ分析」という一連のデータ分析プロセスの一つに位置づけられます。
膨大なデータから、何のために分析を行うかという目的を明らかにし、次にその目的を達成するために、どのようなデータが必要かを見極めデータを収集し、分析しやすいよう整理するというプロセスがあります。収集したデータをどのように活用したいかを検討し、目的を明確にすることで、必要なデータが不足していたり、正確性に欠けるなど結果的にゴールから大きく逸れることもなくなります。
ビジネス環境のデジタル化に伴い、デジタルトランスフォーメーション（DX）に取り組む企業が増え、経営の意思決定にデータを活用するデータドリブン経営が重要視されています。ビジネス活動を通じて得られたデータを分析し、現状の把握や自社が抱える課題、顧客ニーズの把握につなげることで、新たなビジネス施策の実行などに役立てています。
データを活用することで「勘」や「経験」に頼るのではなく、データに裏付けされた根拠によって、確度の高いアクションを起こすことが可能になります。そして集めたデータを分析し、適切に利活用していくことでその効果を最大化することができるのです。すなわち、データ分析の環境を整備していくのに重要な役割を果たすのが「データ収集」ということが言えます。
では、ビジネス活動を通じて得られるデータにはどのような種類があるのでしょうか。大きく「構造化データ」「非構造化データ」に分かれます。
構造化データとは、ExcelやCSVファイルなどのように、定められた構造に整形されたデータのことです。構造化されているため業務システムでよく用いられるRDB（リレーショナル・データベース）に格納されることが多く、データベース言語のSQLでデータの検索、集計や比較などが容易です。
非構造化データとは、事前に整形されていないデータのことです。メール等のテキストデータ、Office文書などに含まれるテキスト、デザインデータ、画像、動画、音声、IoTデバイスなどのセンサーログなどです。日常業務で生成されるため量が多く発生の頻度も高いのが特徴で、データ単体でも意味を持ちます。
同じ組織内でも部署、部門、チームごとにデータが分断され、それぞれ独立してしまっている状態をサイロ化と言います。たとえば、同じ商品に関するデータであっても各部署ごとに収集、管理していたのでは、古いデータや既に使用出来ないデータが混入する、正しいデータがわからなくなる、など一貫性にも欠けてしまいます。
自社でデータ収集を行う場合、データを収集するための環境構築やエンジニアの人件費、維持管理に費用が発生します。また、収集したデータに不備がある場合、せっかくコストをかけてデータを収集したのにデータをうまく活用できず、別途収集するための余計な費用が発生してしまうことがあります。
DXを進めるうえで、自社にはどのような課題があり解決しなければならないか、そのためにはどのようなデータが必要なのか、どこからどのような方法で必要なデータを集めればいいのかを事前に明確化しておく必要があります。データ収集を自社の経営戦略や方針に照らし合わせながら進めていかなければ、データ形式が違う、上手く活用出来ない、などの事態が発生し本来の目的である生産性向上や業務効率化からはかけ離れてしまいます。
続いて、主なデータ収集の方法です。大きく次の3つの方法が挙げられます。
インターネット上には企業や公的機関など各種データをオープンデータとして掲載、自由に活用することを許可しているところがあります。さらに、予め加工しやすいようExcelやCSV形式などのファイル形式にまとめてあるものがあります。こうしたファイルをダウンロードし、分析に活用します。
スクレイピングとは、「Webサイト上の情報を収集し、利用しやすく加工する技術」のことです。スクレイパーと呼ばれるプログラムを用いて、対象のWebサイト上から情報を取得します。オープンデータとしてダウンロード可能なデータを公開していない場合などで用いられます。
プログラムを用いて目的のサイトからデータ収集を自動化することもできますが、スクレイピングを行う際には、取得先のサイトに負荷を与えないことや、そもそもスクレイピングを禁止しているサイトがあるので、注意が必要です。
様々なソフトウェアやサービスを連携させるAPI（Application Programming Interface）という技術を用い、データを収集することです。現在は、インターネット上の多くのサービスがAPIを公開しており、各種ツールやシステムと連携させることで様々なデータをやり取りすることが可能です。
自社で使用しているシステムやサービスとAPIで連携させることで、自動的にデータ収集を行えます。
APIについてはこちらの記事にて詳しく解説しています。
上述した3つの方法のうち、より効果的にデータ活用を進めるために、APIによるシステム間の連携の重要性が高まっています。システムがサイロ化し、データが分断しているとデータ収集に多大な労力が発生し、データの横断的な活用もできないからです。
しかし、APIは便利な反面、サービスごとにAPI仕様が異なり設定や運用に多くの手間やコストもかかります。そこで活用したいのが「データ連携ツール」です。
データ連携ツールは、社内のサーバーやデータベースなど様々な場所に散在しているデータを収集するのに有効なツールで、システム間でバラバラに管理されている情報をスピーディ、かつ効率的に収集するのに役立ちます。
そして、サイロ化しているシステムやサービスからデータを収集するのに有効なデータ連携ツールの一つとして「ASTERIA Warp」をご紹介します。「ASTERIA Warp」は、特定の業務システムのデータ連携をノーコードで容易に行うことができるようにパッケージされており、基幹業務システムや、各種業務アプリケーションなど、100種類以上のデータソース間の複雑な連携やデータ変換をノーコードで実現することが可能です。
上述したような方法で外部から収集したデータを社内システムと連携させることや、データがオンプレミスとクラウドで分散している場合にも、スピーディにデータ連携を実現することが可能です。
実際に「ASTERIA Warp」を活用したデータ収集、活用を実現した事例として、サイバーエージェントの事例が挙げられます。
同社では、新サービス提供や自社サービス品質向上などのDX推進の一環として、データ連携におけるデータ活用の仕組みを整備しました。「ASTERIA Warp」を用い、Oracle、MySQLなどのデータベースやGoogleスプレッドシート、BigQuery、RedshiftやBoxなどのクラウドサービスを含む多様なシステムから売上データを収集、統合する売上管理システムを、ノーコードで、わずか3日で再構築しました。
さらに、クラウドDWH（データウェアハウス）の「Snowflake」を用い、社内にある様々なデータを組み合わせて活用することで、さらなるコスト削減、業務自動化・効率化、サービス品質向上につなげていくということです。
2つめの事例は、スマートインフラビジネス、アイケアビジネスを主力事業とする精密機械メーカーのトプコンの事例です。
同社では、収集・蓄積された億単位のIoTデータの処理に課題を抱えていました。Excelファイルの行数制限をはるかに超え、またプログラムで読み込むにもエラー発生により、手作業でSQL文を作成しデータ抽出を行わざるを得ませんでした。
また、品質保証部のレポート作成も、SQL文を作成できる社員が限られており、レポート作成業務が属人化していました。
こうした課題に「ASTERIA Warp」を活用。スケジュールされた時刻にデータを抽出し・集計・加工までを自動処理する仕組みをノーコートで構築しました。さらに、手作業で変更・実行していた月70〜80本のExcelレポートの作成、メール配信を完全自動化することができました。
ここまでDXを実現するデータ活用に必要なデータ収集の重要性や、データ収集の方法、実際の活用事例について紹介しました。データはただ集めるだけではなく、自社にあった目標設定と方法が重要になります
データ収集の仕組みを容易に、スピーディに構築し、DX推進が可能な「ASTERIA Warp」をはじめとするデータ連携ツールの活用をぜひ検討してみてはいかがでしょうか。無料体験から始めることが出来るので、まずはお試しください。
ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。
ASTERIA Warpデベロッパー同士をつなげ、技術情報の共有やちょっとしたASTERIA Warpの疑問解決の場とすることを目的としたコミュニティです。
