機械学習の調子が悪いんですかね？
でも、CPAが悪くなっただけで、機械学習が原因って分かるかな？
CTRとかCVRも見ないと分からないですね。
それともうひとつ。
機械学習は何を目指して配信しているんだろう？
予約完了をCVにするのか、LINE登録も見るのかは、僕たちが決めますね。
機械学習に任せる前に、「何を増やしたいのか」を人が設計することが大事なんだよ！
① 広告初心者が陥るワナ｜「機械学習に任せれば大丈夫」になっていない？
広告媒体には、自動入札や配信最適化など、 機械学習を活用した機能 が多くあります。
そのため、
「あまり触らない方がいい」
「機械学習に任せれば、そのうちCPAが良くなる」
と考えることがあります。
もちろん、数字が動くたびに設定を細かく変更し続ければ良いわけではありません。
配信に必要なデータが十分集まる前に、 予算、ターゲット、広告などを何度も変更すれば、 何が成果に影響したのか分からなくなる こともあります。
でも、
「機械学習に任せる」＝「運用者は何も考えなくていい」ではありません。
機械学習は、 設定された目標や取得できるデータをもとに、成果につながりやすい配信を探していきます。
つまり、
「何を成果とする？」
↓
データが集まる
↓
機械学習が配信を最適化
↓
結果が出る
↓
人が評価する
機械学習が強くなるほど、人の仕事は「操作」から「設計と判断」に変わっていく と考えています。
機械学習に何を目指してほしいのか、まず人が決めよう！
② 本当にそう？｜機械学習は「正しい目標」を勝手に決めてくれる？
たとえば、飲食店の広告で、 予約を増やしたい とします。
でも、広告では、
LINE登録
電話タップ
予約ページ到達
予約完了
など、さまざまな行動を計測できるかもしれません。
ここで、 取得しやすい行動をすべて同じ「成果」として扱う とどうなるでしょうか。
たとえば、LINE登録の方が予約完了より発生しやすければ、 配信結果としてLINE登録が増えることはあります。
でも、本来増やしたかったのは、 予約 です。
機械学習は、私たちの「予約を増やしたい」という事業目的を勝手に理解してくれるわけではありません。
私たちが、
どの行動を評価する？
何を最適化の判断材料にする？
どの成果を優先する？
を考える必要があります。
つまり、
間違ったゴールを設定すれば、望んでいない方向へ効率よく最適化される可能性があります。
機械学習を活かすためには、 まず「何を増やしたいのか」を正しく決める 必要があります。
計測しやすい数字と、事業にとって大事な数字を混同しないようにしよう！
③ なぜそうなる？｜機械学習は「与えられた条件の中」で最適化する
機械学習を考えるとき、私は、
「何でも自動で考えてくれるもの」
とは考えません。
むしろ、
「与えられた目標・データ・条件の中で、成果につながりやすい配信を探すもの」
と考えます。
1．目標が違えば、最適化する方向も変わる
たとえば飲食店でも、
LINE登録を増やしたい
予約を増やしたい
売上を増やしたい
では、求める成果が違います。
だから、 広告の目的と最適化する成果を合わせる ことが重要です。
2．データの質が悪ければ、判断材料も悪くなる
たとえば、
予約ページ閲覧までCVとして扱っている
同じ予約を重複計測している
実際には来店しない予約まで同じ成果として扱っている
という状態では、 機械学習に渡している判断材料そのもの に問題があります。
になり得ます。
3．配信を細かく分けすぎると、データも分かれる
キャンペーンや広告セットなどを細かく分割すると、 それぞれに使える予算や成果データも分散 します。
もちろん、店舗ごとの予算管理や検証など、 分ける理由がある場合 はあります。
でも、
↓
年代ごとに分割
↓
性別ごとに分割
↓
ランチ・ディナーで分割
↓
訴求ごとに分割
↓
予算・予約データが細かく分散
となれば、十分な配信量や成果データを確保しにくくなることがあります。
機械学習を活かすとは、細かく操作することではなく、良い判断材料を渡せる環境を作ること だと考えています。
目標・計測・構造がズレていないか確認すると、改善ポイントが見つけやすいよ！
④ 具体例｜成果が悪くなったとき「機械学習のせい」にしていない？
たとえば、飲食店の予約獲得広告で、
これまでの予約CPA：2,500円
直近の予約CPA：5,000円
になったとします。
このとき、
と考えてしまうことがあります。
もちろん、配信の最適化や媒体側の変化が成果に影響する可能性はあります。
でも、
成果が悪くなった原因を、最初から「機械学習のせい」と決めつけない。
ことが大切です。
なぜなら、 CPAが悪化したという数字は「結果」であって、原因ではない からです。
まず「何が変わった？」を分解する
私なら、機械学習を疑う前に、 どの数字が変化したのか を確認します。
料理写真やコピーへの反応が変わった可能性
店舗ページ・予約ページ・流入ユーザーに変化がある可能性
広告を表示するためのコスト側が変化した可能性
データが少なく、数字が大きく変動している可能性
さらに、
予約フォームが使いにくくなっていない？
広告と店舗ページの訴求がズレていない？
計測は正しく動いている？
季節・曜日・競合など外部環境に変化はない？
配信構造や予算を最近変更していない？
なども確認します。
「機械学習」は原因ではなく、原因候補のひとつ
成果が悪くなったとき、
↓
「機械学習が悪い？」
で終わらない
↓
どの数字が変わった？
↓
どこでユーザーが離脱した？
↓
何が原因として考えられる？
↓
原因仮説を立てる
↓
必要な対応を決める
「機械学習」は原因ではなく、原因候補のひとつ。
と考えておくと、 成果が悪くなったときの思考停止 を防ぎやすくなります。
逆に「機械学習だから待つ」で放置するのも違う
もうひとつ気をつけたいのが、
という判断です。
もちろん、短期間の変動だけで慌てて設定を変更する必要はありません。
でも、 「機械学習だから」という理由だけで何も確認しない のも違います。
ケースA｜一時的な変動かもしれない
クリック数が少ない
予約数が1～2件程度
CTR・CVRも大きく崩れていない
のであれば、 まだ判断するにはデータが少ない 可能性があります。
この場合は、すぐに大きな変更をせず、 もう少し観測する という判断も考えられます。
ケースB｜明確な問題が起きている
CVRが継続的に悪化している
意図しない地域へ配信されている
予約完了の計測設定に問題がある
広告費を大きく使っているのに予約が出ていない
のであれば、 「学習中だから」という理由だけで放置する必要はありません。
「待つか、変えるか」ではなく、「今は何が起きている？」から判断する。
「○日間触らない」を絶対ルールにしない
広告運用では、 「○日間は絶対触らない」 と決めたくなることがあります。
でも、判断に必要なデータ量は、
クリック数
予約数
客単価
予約までにかかる時間
配信媒体
変更した内容
などによって変わります。
そのため、 日数だけではなく「判断できるだけのデータがあるか」で考える ようにします。
数字を分解して、どこで変化が起きたのかから考えてみよう！
⑤ 私ならどう判断する？｜機械学習を活かすための6つの確認
STEP1｜何をゴールにしている？
まず、 最終的に増やしたい成果 を確認します。
電話問い合わせ？
予約？
来店？
売上？
ここが曖昧なままでは、 媒体の最適化方向が事業目標と合っているか 判断できません。
STEP2｜その成果を正しく計測できている？
電話タップを予約と同じ成果として扱っていない？
同じ予約を重複計測していない？
広告経由の予約が実際の来店につながっている？
来店後の売上まで確認できている？
機械学習以前に、 正しいデータを渡せているか が重要です。
STEP3｜配信構造を細かく分けすぎていない？
分けることに明確な目的がなければ、 必要以上に予算や予約データを細切れにしない ように考えます。
STEP4｜十分な配信機会を与えている？
たとえば少ない予算を、
ディナー
宴会
家族向け
カップル向け
20代
30代
のように細かく分けすぎれば、 それぞれの配信量や予約データが少なくなることがあります。
大切なのは、 細かく分けることではなく、その構造にする理由があるか です。
STEP5｜成果悪化の原因を決めつけていない？
「競合が増えた」
「広告疲れだ」
「ターゲットが悪い」
と、すぐ原因を決めたくなることがあります。
でも、まず見るのは 事実として何が変わったのか です。
↓
数字を分解する
↓
変化した場所を見つける
↓
なぜ？を考える
↓
原因仮説を作る
原因を決めてから数字を見るのではなく、数字を見てから原因仮説を考える。
STEP6｜最終判断は「予約の先」まで見る
媒体上の予約CPAが良くても、
キャンセル率が高い
低単価メニューの利用ばかり増える
クーポン利用だけで終わる
売上や利益につながらない
のであれば、 本当に良い広告成果なのか を考える必要があります。
たとえば、次の2つの広告があったとします。
| 広告 | 予約CPA | 予約数 | 来店率 | 実来店数 |
|---|---|---|---|---|
| 広告A | 2,000円 | 100件 | 40％ | 40組 |
| 広告B | 3,000円 | 100件 | 80％ | 80組 |
媒体上の予約CPAだけを見ると、 広告Aの方が良く見えます。
来店40組 → 来店1組あたり5,000円
来店80組 → 来店1組あたり3,750円
予約CPAだけならAです。
でも実際の来店まで見ると、 Bの方が効率が良い という見方もできます。
媒体上の「CVが安い」と、事業として「良い顧客を獲得できている」は同じではありません。
さらに、「CVは全部同じ価値？」まで考える
さらに一歩進めると、 コンバージョンそのものに「価値」を持たせて考える 方法もあります。
ランチ予約 1件
ディナー予約 1件
宴会予約 1件
広告管理画面では、 それぞれを 「1CV」 と数えることができます。
でも、
ランチ予約1件と宴会予約1件は、本当に同じ価値でしょうか？
平均売上や利益への貢献が違うのであれば、 「何件取れたか」だけではなく、「どんな成果を取れたか」 まで考える必要があります。
さらに媒体や設定によっては、 コンバージョンに価値を持たせ、 件数だけではなく価値を考慮した最適化 を行う方法もあります。
この「コンバージョン価値」については、次の記事で詳しく解説します。
予約の先の来店・売上まで見ると、本当に増やしたい成果が見えてくるよ！
⑥ NG / OK｜機械学習に振り回される運用と、活かす運用
NG①｜成果が悪くなると「機械学習のせい」にする
↓
「機械学習の精度が悪い」
↓
数字を分解しない
↓
原因を探さない
↓
改善につながらない
NG②｜数字が動くたびに人が細かく操作する
↓
すぐ予算変更
↓
翌日CTR低下
↓
ターゲット変更
↓
予約0
↓
広告変更
↓
何が効いたのか分からない
NG③｜「自動だから」と全部任せる
↓
「機械学習だから待つ」
↓
計測も見ない
↓
CTR・CVRも見ない
↓
来店率も見ない
↓
売上も見ない
↓
問題があっても気づけない
OK｜人と機械学習で役割を分ける
目標
CV定義
計測
配信構造
原因仮説
クリエイティブ
来店・売上まで含めた評価
与えられた条件・シグナルをもとに
成果につながりやすい配信機会を探す
「人 vs 機械学習」にしないことです。
人が細かくすべてを操作する必要もありません。
反対に、すべてを機械学習に丸投げする必要もありません。
人が目的と仮説を設計し、機械学習の力を使って配信し、結果を人が学びに変える という関係が大切です。
得意な役割を分けると、広告運用がもっとシンプルになるよ！
⑦ まとめ｜機械学習を「操作する」のではなく「活かせる環境を作る」
1．機械学習に任せれば、全部うまくいくわけではない
機械学習は、広告配信を最適化するうえで強力な仕組みです。
でも、 お店の事業ゴールまで勝手に決めてくれるわけではありません。
何を成果とするのかは、人が考える必要があります。
2．正しい目標とデータを渡す
予約は正しく計測できている？
その予約は実際の来店につながっている？
来店後の売上まで確認できている？
3．成果が悪くなっても「機械学習のせい」で終わらせない
CPAが悪化したからといって、 機械学習が原因だとは限りません。
↓
数字を分解する
↓
どこが変わった？
↓
なぜ？
↓
原因仮説
↓
必要な改善
成果悪化を機械学習のせいにする前に、「なぜこの結果になった？」を考える。
4．変更しすぎるのも、放置するのも違う
数字が変わるたびに設定を変更する必要はありません。
一方で、 「学習中だから」という理由だけで問題を放置する 必要もありません。
「今、何が起きている？」を数字から考えること。
5．媒体のCVではなく、その先の成果まで見る
↓
予約
↓
来店
↓
注文
↓
売上・利益
機械学習が「予約」を増やしていても、その予約が事業成果につながっているかは人が確認する。
6．運用者の仕事は「操作」より「判断と設計」になる
自動化が進めば、 ボタンを操作する仕事 は減っていくかもしれません。
でも、
を考える仕事は残ります。
機械学習が進化すると、 広告運用者が必要なくなる と考えることがあります。
でも私は、むしろ、
「なぜ？」を考えられる運用者の重要性は高くなる
と考えています。
↓
良いデータを渡す
↓
機械学習に配信を任せる
↓
結果を見る
↓
なぜ？を考える
↓
来店・売上まで確認する
↓
次の仮説を作る
成果が悪いときほど、機械学習のせいにせず、数字から原因を考えていこう！
機械学習を敵にする必要はありません。
すべてを任せる必要もありません。
そして、成果が悪くなったときに、 機械学習を原因にして思考を止める必要もありません。
機械学習が力を発揮しやすい環境を作り、その結果から人が「なぜ？」を考える。
それが、これからの広告運用者に必要な機械学習との向き合い方だと考えています。
