こんにちは。だんだんと秋が深まってきて、暑がりの私にとってはうれしい季節になってきました。
先日、データ分析基盤の構築について教えていただく機会がありました。
昨今は様々な企業でデータを経営に活かしていこうという動きが活発になってきていますよね。
デジタル環境の発展に伴って企業が得られるデータが増えてきた中で、データが持つポテンシャルもさらに増大してきているといえるでしょう。有効に活用すれば、現状の課題を解決したり、変化の激しい市場の中でより良い顧客へのアプローチを考えることができたりと、できることは無限大です。
ということで今回は、先日教えていただいた内容をもとに、データ分析基盤構築の基本についてまとめていきたいと思います。
完全初心者の私向けにレクチャーしていただいた内容なので、データ分析に興味があるけど全く分からない！という方もぜひ読んでみてください！
データ分析で一番重要なこと
データ分析で一番重要なことは、明確な目的を持つことです。
「現状の○○という課題を解決するためのアクションを導き出す」といったようなはっきりとしたゴールを持たなくてはいけません。
データ分析では知りたい情報に合わせてデータを抽出し整えていくので、そもそもの知りたい情報がはっきりしていなければ、データ分析の過程が筋の通らないものになって迷走してしまうかもしれません。
一番やってはいけないことは、特に目的がないままデータ分析をして、なんとなく「ふーん、そうなんだ」で終わってしまうことです。
ですから、始める前に何のためにデータ分析を行うのかを整理し、明確にしておきましょう。
データ分析の流れ
では、具体的なデータ分析の基盤構築の手順について確認していきましょう。
例として、食品販売をしているECサイトでの原価率を下げたいという目的でデータ分析をしたいとします。
①分析の当てをつける
まずは、分析の当てを付けます。
原価率＝原価÷売上の式にすることができます。
原価率を下げるには、1.原価を下げるか、2.売上を上げるかの2通りが考えられそうですね。
分析の前段階として、まずは状況を俯瞰してみて当てをつけましょう。極端な例ですが売上が月に1000円しかない、というような場合は、売り上げを上げるしかありませんね。
判断が難しいケースもあるかもしれません。
上手く当てを付けるには、経験や勘が重要になることもあります。難しい場合は長けている人や業界に詳しい人に話を聞くなどして、ともかくこれからのデータ分析の筋道をイメージできるようにしましょう。
②基礎分析
おおむね当てがついたら、基礎分析をします。
基礎分析は、課題に対し対処するべきポイントを見つけるための分析といえるでしょう。
例えば、こんな風にできそうです。
まずは、商品のカテゴリーごとの売り上げを調べてみました。(データ1)すると、うどん、パスタ、ラーメンの中でうどんの原価率だけがとても高いことに気が付きました。
今度はカテゴリー別に売り上げを比較すると(データ2)、今月の売り上げはうどんが一番低く、1位のパスタとは2倍以上の差がついていました。
ここで、原価率をあげるために対処すべきポイントは「うどんの売り上げ」だと考え、うどんの売り上げについてさらに詳しくみていくことにしました。
そこで、今度はうどんの売り上げについて時系列ごとに見ていくことにしました。下の画像のようなグラフで表すと、売り上げの上下が分かりやすいですね。
すると…
③異常なポイントを見つける
上のグラフ(データ3)を見てください。昨年の3月にかけて、うどんの売り上げが非常に大きく伸びています。
このような異常なポイントを見つけられれば、そのポイントの原因などについて分析することが課題を解決するヒントになることがあります。
たとえばこのケースなら、うどんの売り上げが3月に伸びた理由を突き止めそれが再現性のあるものか確かめる(もう一度それを起こせそうか)確かめることで、再び売り上げを増加させるための施策を考える場合の参考になります。
④さらに詳細分析
「うどんが3月に売り上げを伸ばした」理由について、別の変数を加えながらより詳細に分析していきます。
今回は、うどんを購入した人の流入経路を時系列ごとに調べていきます。
すると、下のグラフ(データ4)のようになりました。
グラフを見てみると、Instagram経由の流入が3月に激増していることが分かります。どうやら、有名インフルエンサーのアカウントで取り上げられたようです。
⑤アクションを考える
分析ができたら、それを踏まえて課題に対して起こすべきアクションを考えます。
主に、3月売上を伸ばした要因が再現性のあるものかどうかについて考えましょう。
例えば他の人気インフルエンサーにInstagram上でのPR広告をお願いしたり、3月にうどんを紹介してくれたインフルエンサーにInstagram以外のプラットフォーム上でPR広告をお願いしたり、といったアクションによって、3月の売り上げの伸びが再現できるかもしれません。
有効なアクションを考えるには、業界に対する理解がある程度必要になります。このフェーズも最初に当てを付けたときと同じように経験や勘が必要になるフェーズになるので、難しい場合は業界に詳しい人などに話を聞くことも考えましょう。
以上が、ある課題に対してデータ分析を行い、アクションを考えるまでの一連の流れになります。
データ分析の登場人物
これまではデータ分析の具体的な流れについて見ていきましたが、ここで分析における役割分担について紹介します。
①分析官(アナリスト)
ざっくり言うと、「分析レポートを作る人」です。後述するデータエンジニアから受けたデータを集計しながらより細かく分析(ドリルダウン)していき、異常なポイントがあればその原因を特定します。
②事業企画
ざっくり言うと、「アクションを考えたり、打ったりする人」です。アナリストからのレポートをもとに課題に対して打つアクションを考えます。アナリストとグループを組んで会議などを行うことが多いです。
③データエンジニア
そしてもう一つが、データエンジニアです。
データエンジニアは、ざっくりいうと「データを活用できる状態にする人」です。アナリストが必要な分析を行えるようにするために、データエンジニアが動きます。
いかかでしょうか。データを分析する人(アナリスト)とアクションを実行する人(事業企画)というのはなんとなくイメージがつきやすいと思うのですが、データエンジニアというのはあまり聞きなじみがない人も多いのではないでしょうか。
しかしこのデータエンジニアという役割は、データ分析をするにあたって欠かせない超重要なポジションになります。
では、「データを活用できる状態にする人」であるデータエンジニアは、具体的にどんなことをしているのでしょうか。
データエンジニアのお仕事
フードECサイトの例で、データエンジニアのお仕事を具体的に見ていきましょう。
データを一か所に
お客さんがECサイトを閲覧、購入など利用するたびに、ECサイト内のデータベースにデータが溜まっていきます。
先ほどは、ECサイト上のデータを使って原価率の分析をしていたということですね。
しかしながら、分析を行うときにECサイトのデータベース上で直接処理をするということはあまり多くなく、データウェアハウスという場所にデータを溜めて分析することがほとんどです。
データウェアハウスは、大量のデータを溜めて置けるデータの倉庫といったイメージです。ECサイトからデータウェアハウスにデータを移して分析するのですね。
しかし、ECサイト上でそのまま分析を行わず、一度データウェアハウスに移すのはなぜでしょうか？
ECサイト上で直接データを扱うことには、以下の問題点があります。
一つ目については、ECサイトはもともとデータ分析のために最適化されているというわけでは全くないので、分析をする際にシステムに負荷がかかりサイトが止まってしまったりといった不具合が起こる可能性があります。
ECサイトの売り上げを上げるためにデータ分析をするのに、そのためにECサイトが止まってしまう…というようでは本末転倒になってしまいますね。
二つ目について、「他のシステム」とは何でしょうか？
例えば先ほどの例で、うどんを購入した人の流入経路のなかで「検索」や「Instagram」といった経路がありました。
このデータを得るには当然、検索エンジン(GoogleやYahoo!など)や、Instagramからのデータを取る必要があります。そしてこれは、ECサイト上にはないデータになります。
ですので、様々なシステムからのデータをデータウェアハウスという倉庫で一元管理して、そこでデータ分析を行った方が効率が良いというわけですね。
そしてこのように、必要なデータを様々なシステムから集めデータウェアハウスで管理するというのが、データエンジニアの仕事の一つになります。
このとき、ETLツールといったデータの抽出・加工・転送に特化した統合ツールが使われることが多いです。
分析できるテータに
さてこれで分析開始…といきたいのですが、データエンジニアのお仕事はまだまだあります。
先ほど、様々なシステムからデータを取ってきました。
しかし、この時点で分析に必要なデータだけを選んで取ってくることができるわけではないので、データウェアハウスには大量のデータが溜め込まれることになります。
また、データの形がそろってなかったり欠損値があったり、整っていない状態のものも多いです。
このままの状態で分析はできないというわけですね。
ここからアナリストがしたい分析に必要なデータを取り出して、データを整えて綺麗な形にしていよいよ分析ができる状況を整えるのも、データエンジニアのお仕事です。
データウェアハウスはEXCELのようにわかりやすいUIがあるわけではありませんので、データを取り出したり整えたりするには、SQLというデータベース言語を使います。
まとめると、データエンジニアのお仕事は以下のようになります。
分析の前に、アナリストが有効な分析をすることができるように動くのですね。
さて、データエンジニアのお仕事について確認してきました。データエンジニアがデータ分析において欠かせない重要な役割を果たしているということをご理解いただけましたでしょうか。
上で紹介してきましたデータ分析の基本の流れと合わせてご参照いただき、是非データ分析を用いて一段上の顧客へのアプローチを目指してみてください！