構造化されたデータだけではなく、非構造のデータを利用することで、一段上のデータ分析を実現することが可能です。しかし、商品・店舗の概要資料や写真情報、インターネット上の情報など、データの約8割にあたると言われる非構造化データは、フォーマットが定まっていないため、分析データとして扱うには管理・集約しにくいという課題があります。
そこで、非構造化データを活用するために昨今注目を集めているのが、ChatGPTを始めとした生成AIです。
AI CROSS株式会社とアステリア株式会社は、「AIによるデータ分析最前線!ChatGPT×データ連携/AI分析ツールで非構造化データの活用を実現する手法」をテーマとした共催セミナーを開催いたしました。前半で、「ChatGPTとの組み合わせで非構造化データを構造化データに変換する方法」を解説。後半では、在庫最適化と店舗出店計画の最適化をユースケースとして「ノーコードAI分析ツールによるデータ分析の最新手法」を紹介しました。
本レポートでは、講演でお話した概要とポイントについてご紹介します。
目次
タイトル | AIによるデータ分析最前線!ChatGPT×データ連携/AI分析ツールで非構造化データの活用を実現する手法とは |
---|---|
開催日 | 2024年3月22日14:00-15:00 |
共催 | AI CROSS株式会社、アステリア株式会社 |
第一部 (アステリア株式会社) |
ChatGPTとの組み合わせで非構造化データを構造化データに変換!100種類以上のデータを扱うデータ連携ツール |
---|---|
第二部 (AI CROSS株式会社) |
ノーコードAI分析ツールによる在庫最適化と店舗出展計画の最適化 |
まずは、データ分析において必要なことについてご紹介いたします。
「データ分析は前処理が8割」という言葉を聞いたことはありますか?
データを分析するにあたって、分析対象とするデータはあるが、加工しないと分析に使えないというケースが多々見受けられます。
下図はデータを分析するための大まかな流れを表しています。
図にもあるようにデータを分析するまでに、「ユースケースの定義」「データの準備」「データの加工」といった処理を行うことになります。データ分析の精度を高めるためには、この前処理がとても重要だと言えます。
ユースケースの定義 | 分析を行う目的に沿って、ユースケースとシナリオを整える。 |
---|---|
データの準備 | ユースケースやシナリオに沿って必要なデータを集める。 |
データの加工 | ただデータを集めるだけでは、分析に使えないため、分析に使えるデータに加工する。 |
データ分析をするためには、「列」と「行」の概念を持つ「構造化データ」を集めてくる必要があります。データが構造化されているため、検索、集計、比較などを行いやすく、解析や分析に適した構造です。たとえば、ExcelファイルやCSVファイル、データベースなどが該当します。
一方、多くの企業内には構造化データだけではなく、「非構造化データ」も存在していることでしょう。非構造化データとは、構造定義がされていないデータを指します。データベース化ができないため、検索、集計、解析に不向きなデータです。これらには、テキストファイルや画像ファイルといった日常業務で生成されるさまざまなデータが含まれ、用途も異なるうえに発生頻度が高いことから量が多くなる傾向があります。
企業内データの8割が非構造化データとも言われています。
非構造化データを構造化し分析に活かすために、「このデータが何かという”理解”」と「活用できるデータにするための”加工・変換”」という点で検討が必要です。
構造化データと非構造化データについては、以下の記事でも解説しています。
では、非構造化データを構造化データにする方法としてどのような方法があるのか、ここでは、具体的な方法をご紹介します。
たとえば、それぞれ以下の図に記載の方法で非構造化データを構造化データにすることができます。
また、画像データはChatGPTを活用することで構造化データに変換することも可能です。
AIを活用したデータ分析を利用するときも、データの前処理が必要かつ重要です。データの前処理の方法は、データソースの種類に応じて、ChatGPTのような生成AIを活用する方法や、データ連携ツールを利用する方法があります。さらに前処理をした情報を利用する分析サービスにあわせて加工変換する処理にもデータ連携ツールは活用することができます。ChatGPTを利用した具体的なイメージは下図をご覧ください。
店舗情報のPDFファイルや画像データから賃料や出店地などの学習データを作成する工程でChatGPTを利用できます。ChatGPTにPDFファイルや画像データを読み込ませることで、それらに書かれた情報をテーブルデータに変換します。一方、基幹システムに登録されている顧客情報や売上情報などのテーブルデータから学習データを作成する工程では、「ASTERIA Warp(アステリア ワープ)」のようなデータ連携ツールを使い抽出できます。更にASTERIA Warpの場合、これらのデータを統合して加工・変換することができます。その後、加工・変換したデータをノーコードAI分析サービス「Deep Predictor(ディーププレディクター)」に取り込み分析を行うという流れです。
データ連携ツール「ASTERIA Warp」は、各システム間の連携ハブとして利用が可能です。社内に存在するさまざまシステムをプログラム開発するのではなく、各システムの中心にASTERIA Warpをおくイメージで、各システムをつなげることでデータの一元化を実現します。
ASTERIA Warpの特長は、100種類を超えるクラウドサービスやシステムと簡単に連携することができることです。また、ノーコードツールであるため、アイコンを並べるような簡単な操作でデータ連携を実現することができるため、開発コストの大幅な削減につなげることができます。
Deep Predictor(ディープ プレディクター)とは、専門知識がなくても、誰でも簡単に扱えるAI予測・意思決定支援サービスです。たとえば、人工知能を自前でつくろうとした場合、”統計における専門知識”や人工知能を開発するための”Pythonと呼ばれるプログラミング言語の知識”が求められます。Deep Predictorを使えば、前述したような知識が無くても、人工知能を使いこなせるようになるサービスです。Deep Predictorでは、「予測結果を根拠と共に提示」「打ち手や施策への活かし方」といったAIによる分析をノーコードで実現することができます。さらに、データサイエンティストによるサポートが標準で付帯しているため安心してご利用いただけます。
Deep Predictorを活用したユースケースとして、セミナーでは、①「在庫最適化」②「新規出店候補の最適化」の2つをデモを交えてご紹介しました。本レポートでは、ポイントのみ紹介します。
まず、在庫を最適化するために、需要予測を行う場合のアウトプットイメージが下図です。
折れ線グラフのうち、黒線が実績値、赤線が予測値を示しています。たとえば、このようなグラフを使って、予測値(赤線)と実績値(黒線)の誤差を確認することができます。
さらに、どのように学習を行い、先述のグラフを作成したのかというアウトプットイメージが下図です。
たとえば、図中の左側にある「出荷数に与える影響ランキング」では、売上への影響度を棒グラフで表しています。それぞれの要因がどう関係しているのかを定量的に示したものが右側の折れ線グラフです。これらの定量的なデータでそれぞれの要因がどう影響していくのかがわかる点が、通常の分析よりも当社サービスの人工知能を使った分析が優れている点と言えるでしょう。
そして、このAIによる需要予測から算出した発注量と実績の発注量から、具体的な在庫量を決める必要があると考えます。下図のようなアウトプットイメージで、自動的に計算された商品ごとの発注量を打ち手として導き出すことができます。このようなことから、在庫の最適化を進めることができます。
新規出店店舗を計画する際に、各変数の売上に対する影響度合いをランキング形式で出力して分析することができます。たとえば、コストパフォーマンスが最も良い賃料の範囲をグラフで出力することも可能です。出店候補物件の各種データについては、先ほどご紹介したとおり、生成AIとASTERIA Warpを活用することで、物件情報が記載された画像データから簡単に取得することが可能です。
また、出店候補エリア内でどこに出店することで売上見込み金額が高くなるか予測した結果を数のように地図上に表示することも可能です(オプション)。
これらの分析を行う上で、事前に学習データを作成する必要があります。たとえば、Webサイトにある店舗情報を使用する場合、手打ちで入力するのは大変です。ASTERIA Warpを活用することで、Webサイトの情報を読み取ることができ、データ分析に使用するデータの前処理を効率的に行うことができます。
高い精度を実現するには、アルゴリズムと学習データの作り込みが肝要です。Deep Predictorでは、世界でも優秀なアルゴリズムをもとに、お客様のデータに合わせたアルゴリズムを開発するため、高い精度で予測を行うことができるようになっています。また、お客様の保有データの加工も当社のデータサイエンティストが一緒に作り込みを行います。これら2つを組み合わせて非常に高い精度を実現できています。
単なるAIの構築だけではなく、本当にAIをビジネスに活用するまでの領域をDeep Predictorがカバーしていますので、使いこなせなかったということがなく安心してご利用いただけます。また、ASTERIA Warpを組み合わせることで、社内外のデータを収集する工程を自動化することも可能です。
本記事では、2024年3月22日に開催されたセミナー「AIによるデータ分析最前線!ChatGPT×データ連携/AI分析ツールで非構造化データの活用を実現する手法とは」についてレポートしました。
データを用いた分析を行う上で、いくつか課題が存在するものの、ノーコードツールの利用によって効果的に解決できることをご紹介しました。データの前処理にはASTERIA Warp、AI分析にはDeep Predictorと組み合わせて活用することで、効果的なデータ分析を行うことができます。それぞれのサービスについては下記よりご覧ください。
PM・SE・マーケティングなど多彩なバックグラウンドを持つ「データ連携」のプロフェッショナルが、専門領域を超えたチームワークで「データ活用」や「業務の自動化・効率化」をテーマにノウハウやWarp活用法などのお役立ち情報を発信していきます。
Related Posts
ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。
アステリア製品デベロッパー同士をつなげ、技術情報の共有やちょっとしたの疑問解決の場とすることを目的としたコミュニティです。