古嶋十潤(ふるしま・とおる)コンサルティング会社やスタートアップのIT系事業会社を経て、2022年12月に株式会社cross-X（https://crossx-10-tf.com/）を創業し、現職。コンサルティング会社在籍時にはパートナーとしてデータ・AI戦略プロジェクトの統括を担い、日系大手企業を中心にデジタル・DX戦略を推進。IT系事業会社在籍時には執行役員・本部長等として経営・事業マネジメントや東証マザーズ上場、資金調達を経験。現在は創業したcross-Xで、大企業のDX推進アドバイザリーやDX人材の育成支援等を担う。京都大学法学部卒業。著書に『DXの実務――戦略と技術をつなぐノウハウと企画から実装までのロードマップ』（英治出版、2022年）。
DX推進においては、KPI管理だけでなく、データ活用によるシステム強化、AI開発などデータを起点とした施策創出/事業改善強化が、常に求められます。そのためには前提として、施策創出/事業改善強化のエンジンとなる、データ基盤の構築が不可欠です。今回は、データ基盤を理解/活用するためのポイントについて、要点を絞って解説します。
データベース構築のプロセス
そもそもデータ基盤とは、ITシステムの一つです。昨今のITシステムの分類としては、SoR(System of Record)、SoE(System of Engagement)、SoI(System of Insight)の3類型で語られることが多いようです。簡潔に言えば、それぞれのシステムは以下のように役割付けられます。
SoR：基幹システムのように、記録を重視するシステム
SoE：ECサイトなどのWebシステムのように、ユーザーと企業とのつながりを重視するシステム
SoI：分析のためのシステム。データ分析基盤のような役割のITシステムは、SoIに属すると考えればよい
また、それぞれのシステム企画ではビジネス成果と接続するための「要求定義」、それをシステム要件に落とし込むための「要件定義」、さらにその要件の分類として「機能要件」「非機能要件」等々、ITシステムを企画・設計・開発・実装・運用する過程では、膨大な要素を順次検討、確定していきます。
これら全てを本稿で提示することは非現実的であるため、今回はデータ分析を行うためのデータ基盤、すなわちSoIに類するITシステムにおいて、データの収集・処理・活用方法の要点を解説します。
データ分析に必要となるデータを収集・統合し、分析に活用しやすいデータベースを構築するプロセスを考えます。
例えば、「顧客属性」に関するデータと、顧客が商品を購入した「月次購買データ」の2種類のデータを統合するとします。
顧客属性のようなデータを「マスターデータ」、月次購買データのようなデータを「トランザクションデータ」と呼びます。それぞれのデータについて説明すると下記の通りです。
- 特定の業務遂行上の基礎となるデータ。商品購買結果（数量/金額など）を顧客別に集計するなどで用いる
- 変化が少なく、「静的」なデータ
- 個人情報として厳重に扱うべき情報や、変更によって分析業務などに大きく影響する情報が含まれるため、取り扱いに十分な注意が必要
- 売り上げ、在庫、Webアクセスログなど、システム利用によって増え続けるデータ
- 増え続ける「動的」なデータ
- 集計分析によるユーザーの行動理解や、機械学習モデルに学習させるデータとして活用するなど、用途は多岐にわたる
これらは最初から統合しておくのではなく、それぞれ別々のデータテーブルとして管理・運用するのが通常です。
そして、データ分析用のデータテーブルを作成する際は、各データが最新の状態にアップデートされるようにデータパイプライン設計を行い、データテーブルを統合・更新します。
この統合・更新の際、一般的にキーとなるデータは、顧客IDのようなマスターデータで、このデータに対して都度発生するトランザクションデータをひもづける処理が行われます。
また、顧客情報やWeb利用履歴データを「特徴量」として利用し、その顧客が特定の商品を購入する可能性、解約する可能性などを機械学習モデルによって分析・算出した「予測データ」を、顧客IDにひもづけることもあります。AIについては、次回解説します。
ここまでの「マスターデータ」「トランザクションデータ」「予測データ」を統合したイメージを下図で示します。
