目次
データ連携とはシステムやアプリケーションの垣根を越えて、データを共有・活用することを指します。
売上データ、顧客データ、人事データなど、企業は数多くのデータを扱っています。それらのデータは、データベース、クラウドサービス、ファイルなど、用途に合わせてさまざまな場所で管理・保管されています。異なる保管場所にあるデータを組み合わせて有効活用するために必要なのが“データ連携”です。
身近な例では、Excelファイルのデータを別のExcelファイルにコピー＆ペーストすることもデータ連携の1つと言えるでしょう。また、Aシステムからファイルをエクスポートして、Bシステムの形式に合わせてデータの変換・加工を行った上でインポートする、といったよく行われている作業もデータ連携です。
データ連携がされていないと生じる問題について解説します。
複数システム間で同じデータを保有しており、それぞれのデータを個別で更新している場合、データに矛盾が生じてくる場合があります。例えば、それぞれ在庫のデータを保有しているAシステムとBシステムがあったとして、Aシステムのデータは”在庫がある”状態に、Bシステムのデータは、”在庫がない”状態という矛盾が起きうる可能性があります。
複数のクラウドサービスや複数のファイルのデータを、DWHにまとめBIツールなどで分析したい場合、フォーマットが統一されている必要があります。しかし、多くの場合、クラウドサービスごと、ファイルのデータごとにフォーマットがバラバラであることが多く、複数のデータを組み合わせて有効活用することができません。
オンプレミスで構築した社内システム内のデータだったり、会社や各部署で利用している複数のクラウドサービスやファイルなどは、データが各所にに分散して存在しています。いざ分析しようと思っても必要なデータがどこにあるのかわからず探す時間や手間がかかってしまいます。
前述までの問題は、”人”による手作業で対応するケースが多く見受けられますが、この方法は”多重入力による負荷”や、”入力ミス・ 入力漏れ”などが発生しやすいため、誤ったデータを使用してしまうことで 、正しい分析結果が得られない可能性があります。
前章のような問題を解決するために、データ連携が重要となります。本章では、このような問題をふまえ、データ連携を行うメリットについて紹介します。
複数システム、サービス、ファイル間でのデータ連携を行うことで、それらのデータを組み合わせて利活用することができます。例えば売上データと顧客データを組み合わせて商品ごとの購入者の傾向を分析することで、マーケティングや商品開発などに活用することができます。
データ利活用については「ビジネスでデータ利活用をするメリットと成功事例を解説」で詳しく解説しています。
データを連携することで、散在するデータを一元管理することができます。例えばシステム毎に社員情報を保持しているケースを考えます。元となる社員マスターと各システムをデータ連携することで、入退社や異動などの発生時に抜け漏れなく最新の社員情報を各システムに反映させることができ、データ管理コスト削減につながります。
データ管理に関しては、「データ管理の重要性と失敗しないために押さえておくべき3つのポイント」で詳しく解説しています。
複数システムで同じデータを扱うことはよくありますが、データ連携していないことで矛盾が生じ、判断を誤ってしまうことがあります。例えば在庫管理システムの在庫数と販売管理システムの在庫数が異なり、在庫があるのに品切れと判断してしまう可能性があります。データ連携することでシステムごとのデータの矛盾を無くし、どのシステムから確認しても正しく整合性の取れたデータを扱うことができます。
複数のシステム、サービスを導入することが当たり前となっている今、データ連携は必須の機能といえます。しかし、前述したようにデータ連携を手作業で対応するケースはとても多いです。なぜ、データ連携は進まないのでしょうか。
システムによっては、CSV経由での一括インポート/エクスポート機能が提供されていることもありますが、そのデータフォーマットはシステム毎に異なります。取得できるデータが違う、項目の順番が違う、など、異なるシステムでまったく同じデータフォーマットを扱うことは少ないでしょう。データ連携をするためにサービスのカスタマイズやデータ変換機能の開発を行うと初期の開発コストだけでなく、項目変更時やシステムリプレイス時に都度改修コストがかかってしまいます。
データ変換機能だけでなく、システムからのデータ取得や登録処理を自動化できず、手作業が発生してしまいます。近年データ連携用のインターフェースとしてＡＰＩを提供するサービスも多くありますが、ＡＰＩの仕様調査から実装までのハードルが高く、その分開発コストがかかってしまいます。
APIについて詳しく知りたい方は「API連携とは？API連携のメリット・デメリット・活用法」の記事をご確認ください。
データ件数が少ない場合は手作業でも対応できてしまうため、作業工数がかかっていても担当者自身が課題として認識していない場合もあります。あるいは、課題に感じながらも、業務担当者ではデータ連携処理の開発が難しく、実現に至らないケースも多くあります。
一般的にデータ連携処理の開発はハードルが高く、コストがかかるため、なかなか進まない現状を紹介しましたが、データ連携を実現するためにはどのような手順が必要なのでしょうか。
まずは連携先のシステムやファイルからデータを取得する必要があります。取得方法としては、以下の3つが一般的です。
次に、取得したデータを出力フォーマットに合わせて変換します。文字列の分割・結合、数値計算、マスターデータを参照してデータ置換などシステムの仕様に合わせてさまざまなデータ加工を行います。
次に変換したデータをシステムに登録、あるいはメールなどで送信します。こちらもデータ取得と同様、主に3つの登録方法があります。
最後にデータの連携タイミングを設定します。手動での実行だけでなく、自動連携が必要な場合は、実行タイミングの設定が必要です。実行タイミングは3つに分類できます。
ここまで、データ連携の必要性とともに、実現の難しさを説明してきました。しかし、データ連携における課題は、ツールを活用することで、容易に解決することができます！データ連携を実現するツールはさまざまありますので、代表的なものを紹介します。
EAIはEnterprise Application Integrationの略で、EAIツールは、企業が扱うシステム間のデータ連携を行うためのツールです。バッチでの一括データ連携はもちろん、リアルタイムにデータを同期させることもでき、データ連携用途で広く利用されています。
詳しくはこちらの記事もご覧ください。
ETLはExtract Transform Loadの略で、ETLツールは、データを抽出（Extract）、変換（Transform）、出力（Load）するためのツールです。さまざまなデータソースからデータを収集、DWHなどに格納し、分析ツールで活用できるようにするためのツールです。従来、ETLはバッチ処理が基本でしたが、データ量の増加や刻一刻と変化するデータの分析に対応するため、リアルタイム連携やマイクロバッチ連携を行う「ストリーミングETL」も登場しています。
「ETL」について詳しくはこちらの記事をご覧ください。
RPAはRobotic Process Automationの略で、RPAツールは、ソフトウェアロボットを用いて業務を自動化するツールです。画面操作を自動化でき、人の作業をそのまま代行できることが特徴です。画面経由でしか操作できないシステムとの連携には非常に有用なツールです。
「RPA」について詳しくはこちらの記事をご覧ください。
iPaaS（アイパース）とは、integration Platform as a Serviceの略でデータ連携サービスを指します。iPaaSの中でも「レシピ型」と呼ばれるツールでは、よくある連携処理がパッケージ化されており、他のiPaaSより簡単に連携処理を作成することができます。データ更新や操作をトリガーとして処理を実行することができ、リアルタイム連携が得意です。有名なクラウドサービスとの連携においては、少ないステップで簡単に処理を作成することができます。
「iPaaS」について詳しくはこちらの記事をご覧ください。
従来、システム同士を自動連携する場合には、連携機能を要件ごとに開発する必要がありました。しかし、多種多様なクラウドサービスが普及している現在、導入するシステム・サービス数は増え、システムで扱うデータやシステムそのものの変化のスピードが早く、個別の連携処理開発では対応できません。そこで、ツールを活用したデータ連携基盤を構築し、一元管理することで、サービスの新規導入やリプレイス、データフォーマットの変更にも柔軟・迅速にデータ連携することが可能になります。
データ連携基盤を構築した事例をご紹介します。
160万件の固定長販売実績データを60秒でCSVに変換
「今日を愛する。」というスローガンを掲げ、私たちの毎日の暮らしを支えているライオン株式会社。同社はメインフレームやオフコンを中心とした既存システムを大幅に刷新し、新ITシステムの構築プロジェクトを遂行...
連携トラブルを解消し、連携運用コストを限りなくゼロへ！
東急不動産ホールディングス株式会社は東急不動産、東急コミュニティー、東急リバブル、東急ハンズなどを傘下に抱えるホールディング会社。豊かで健やかな社会の実現に向け、ハコやモノの枠を超えてライフスタイルを...
こちらはEAIの導入事例がまとめられた事例集です。EAIの活用シーンがカテゴリーごとにまとめられているので、利用イメージを持つのにおすすめです。
データ連携の定義からメリットや課題、実現方法などをご紹介しましたがいかがでしたでしょうか？
“データ連携”と聞くと専門スキルが必要なのではと思いがちですが、ノーコードのデータ連携ツールなどもあるので、ぜひ確認してみてはいかがでしょう。
データを連携することでシステムへの多重入力や入力ミスなどを軽減し、業務効率化にもつながりますね。さらにデータ活用の幅も広がります。
データ連携についてさらに詳しく知りたい方は、こちらの資料「はじめてのデータ連携」もオススメです。
データ連携ツールの選定ポイントも掲載されているので、ツール選びに迷われている方にもぜひ参考にしていただけるのではないでしょうか。
ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。
ASTERIA Warpデベロッパー同士をつなげ、技術情報の共有やちょっとしたASTERIA Warpの疑問解決の場とすることを目的としたコミュニティです。
