【ウーバーイーツ】チップ率向上とRCTによる効果検証 ～準備編～【沖縄市】
これまでは、過去のデータを分析し、特徴を把握するのみだった。今回は、分析結果から課題を探し、改善策を考える。そして、その改善策の効果を検証する（ここがメイン）。
参考書籍・資料
主な参考箇所 1章 セレクションバイアスとRCT
概要
チップ分析の振り返り
↓
課題と手段
↓
RCTについて
↓
サンプルサイズ設計
↓
計画表の作成
チップ分析の振り返り
これまでのチップ分析を振り返ると、チップの発生に大きく関わる変数は「外国人への配達か否か」という結果になった。ロジスティック判別分析を行ったところ、外国人への配達の場合はチップ発生確率がどのデータでも5割以上となり、チップ有りと判別された。この場合の正判別率は約70％となり、ある程度信頼できる結果となった。
課題と手段
課題は、「日本人のチップ率の低さ」としてみる。
外国人への配達か否かがチップ発生に大きく関わるということは、その差が大きいといえる。また、低い方に改善の余地が多いにあるように見える。
今回の目的は、あくまで介入によっての効果の検証なので、改善しやすそうな課題を選んだ。
手段は、「お客様へのメッセージ」とする。
再現性があって、比較的簡単な介入方法として、「メッセージ機能」を活用する。
今回の場合は、店舗から商品を受け取った際に、商品受け取り完了報告と到着予定時間をメッセージで送ることとする。
RCTについて
手段が、どの程度効果があったのかを正しく検証する必要がある。検証方法について調べたところ以下の文章を見つけた。
実際に実行可能で最も信頼のおける効果の検証方法は、介入を無作為化してしまうことです。つまり、介入を実施する対象をランダムに選択して実験し、その結果得られたデータを分析することです。メールマーケティングの例に置き換えると、メールを送るユーザをランダムに選択し、その結果得られたデータで売上の平均を比較することになります。
………
施策の割り当てをランダムにすることは、介入された場合とされなかった場合の両方の値を明らかにはしてくれませんが、介入が行われたグループと行われなかったグループの比較を可能にしてくれます。 このメール配信のような、効果を知りたい施策をランダムに割り振り、その結果として得られたデータを分析して比較することはRCT（無作為化比較試験、Randomized Controlled Trial）と呼ばれ、さまざまな科学分野で効果を検証する際に利用されています。
要約すると、「介入を実施する対象をランダムに選択することで、介入ありなしグループの比較ができるようになる」ということ。
今回の場合に応用すると、メッセージを送る対象をランダムに選択することで、メッセージありなしグループのチップ数を比較できるようになる。
ランダムに選択する方法として、以下のスマホアプリを使う。
ランダムボックス – 難しい救世主を選ぶ ランダム抽選 幸運回転盤 乱数 サイコロ ランダム決定選択 – Google Play のアプリ
サイコロを振り、奇数の場合にメッセージを送り、偶数の場合に送らないこととする。
サンプルサイズ設計
メッセージありなしグループでチップ率を比較し、有意な差があるか検定を行う。有意な差があれば、メッセージの効果があったとなる。
この検定を行う前段階で重要なのが、サンプルサイズの大きさである。サンプルサイズが不十分なまま検定を行っても正しい結果は得られない。
ということで、サンプルサイズの決め方について調べてみた。
幾つデータが必要か？―比率の差の検定 | ブログ | 統計WEB (bellcurve.jp)
上記の記事の中に、有意水準5％かつ検出力80％でサンプルサイズを決める式があった。それを用いて、サンプルサイズを決めたところ、100となった。
16 × (0.5 × 0.5)/(0.6 × 0.4) = 100
よって、最低100件の配達データが必要と分かった。
分割表の作成
検定を行う際に必要となる分割表をあらかじめ作成しておく。
| チップ | ||||
| あり | なし | |||
メッセージ （介入） | あり | |||
| なし | ||||
| 100以上 | ||||
100件以上配達することで上記表が埋まれば、後は検定を行い、有意かどうかを確認するだけとなる。有意水準5％で有意となれば、今回のメッセージ（介入）が効果ありと分かる。
今後
100件配達し終える日を予想する。
今までの1週間の配達件数の平均は50件前後となる。よって、スタートから2週間後に100件配達完了となる可能性が高い。
スタートは12月14日なので、12月28日あたりがゴールとなる。
コメント