因果推論手法の分類
Uberの記事を参考にしています。
eng.uber.com
因果推論とは
因果推論とは何かが発生する理由の質問に答えることを目的とした複数の統計的手法の集まりである。
回帰分析などはXの変化がYの変化にどのように関連しているかを定量化することを目的としているが、因果推論ではXの変化がYの変化を引き起こすかを判断することを目的としている。
因果推論の手法は違いに疎結合であり、多くの手法が存在する。
因果推論手法の分類
大きく分けて実験データを用いる手法と観測データを用いる手法に分類されています。
実験データとははA/Bテストなどのの因果関係を評価するために行われる実験から得られるデータのことであり、
観測データとは、非実験データとも呼ばれ、実際の行動をそのまま記録したデータである。実験データに比べ、因果関係の推定が困難である。
実際のビジネスの現場では、観測データしか得られない場合が多い。
実験データを用いる手法
A/Bテストを行なった場合、真にRCTが行われているのなら、単純に比較するだけで知りたい介入の効果を測定できると思うだろう。
だが、単純に比較するだけでは真の介入の効果を知ることができない場合は存在する。
そのような際に因果推論を用いることで、実験データ内の複雑性を対処することができ、介入がどのように効果をもたらしたかなどのさらなる洞察を得ることを可能にする。
以下のような手法が存在する。
CUPED法(controlled-experiment using pre-experiment data)
最初に介入がなかった場合の各個人のベースラインを推定するために、介入前に得ることができるデータだけを用いて、介入後の時点のデータを予測するモデルを作成する。
その後、実際に介入を行った後の観測データと予測ベースラインを比較することでバイアスを調整した比較を行う手法。
予測モデルが、介入を行わなかった場合の結果変数の値を正しく表現できていることを仮説としている。
Uberなどでは、プラットフォームに精度の高い予測モデルを実装することにより、CUPED手法を適用している。
差分の差分法(DID : difference in differences)
介入実施前と後のデータの差分を、介入群/非介入群それぞれで算出し、介入群の前後の差分と非介入群の前後の差分を再度算出することにより
季節性の影響を取り除き介入効果を算出する手法。
介入群と非介入群の共変量が等しいことを仮説としており、
実際に、実験前の結果変数や共変量の動きが、介入群と非介入群とで等しいことを確認してから行う。
ja.wikipedia.org
CACE法( complier average causal effect)
A/Bテストを実施した場合を考える。介入群と非介入群に分けたとしても、介入群の中に実際には介入を受けたいない個体が存在する場合がある。
（たとえば、販促メールを送る施策で、施策実施群の中にはメールを受信しても開かないグループがいるだろう）
その際に、介入群の中で実際に介入を受けた割合を係数として、A/Bテスト得られた介入効果を調整する手法。
HTE法 (heterogeneous treatment estimation)
多種多様な顧客が存在する会社の場合、顧客はそれぞれ独自の好みやニーズがある。
したがって、介入が一つのグループではよく働くことがあっても、異なるグループではうまく働かないこともある。
知りたいことは、誰に大きな影響があるか？ 誰に小さな影響があるか？ 治療は誰に有益な効果をもたらすか？ だろう。
そのような質問に答えることができたら、治療が特に効果的または効果的でない条件についての理論を伝えるのに役立つ。
この要求を「観測された共変量を条件とする介入効果であるconditional average treatment effect (CATE)を計算する」方法で答える手法がHTE法である。
メディエーションモデリング(Mediation modeling, a causal inference method)
介入効果Xと結果変数Yの間のブラックボックスを開いて、根本的なメカニズム（つまりなぜ起こったのか）を解明する手法である。
介入効果全体を以下の2つの部分に分解する。
仮説を立てた特定のメカニズムによるもの（平均的な因果的メディエーション効果）と、他のすべてのメカニズムによるもの（平均的な直接効果）。
- 製品の仮定を直接テストする
- 複数の基本的なメカニズムの相対的な重要性を比較
- 顧客満足度などの無形の変数がビジネスに与える影響を解明
- 長期的な目標を短期的なステップに分割する方法を知る
観測データを用いる手法
観測データは、RCTが全く行われていないため、結果変数と介入変数の両方に相関を持つバックドア変数が存在する。
そのバックドアをブロックすることを目的とするのが観測的データを用いた因果推論の手法である。
ただ、実際のデータには、さまざまな変数を含む複雑なバックドアパスが多数存在する可能性がある。
制御すべき変数と制御すべきでない変数を決定することは、ドメイン知識が豊富な専門家との密接な協力を必要とする。
いくら多種多様な分析手法を知っていても、アナリスト一人が頑張るだけでは良い分析はできない。
専門家からドメイン知識を引き出す技術なども必要なのである。
この辺りの本を一度読む
傾向スコア
バックドアをブロックしたい場合、簡単に思いつくことは、関連する共変量の全く同じである介入個体と非介入個体を比較することである。
ただ、共変量の数が多い場合、このアプローチは実行できない場合がある。そのような場合に傾向スコアを用いて共変量を要約する手法が使用される。
傾向スコアは、共変量が与えられた場合に処理される予測確率である。
傾向スコアが等しい（近しい）個体ではランダムに介入が割り振られる。という仮定の元比較を行うことにより、バイアスを除去することができる。
傾向スコアを用いる手法は複数あり、「傾向スコアのマッチング」や「IPTWなどの観測値を重み付け」などにより分析を構築できる。
二重ロバスト推定
因果推論の手法を二種類組み合わせることにより、結果の頑健性（robustness）を示すことを目的とした手法
傾向スコア分析×操作変数法 などの組み合わせが存在。
回帰不連続デザイン(Regression Discontinuity Design:RDD)
介入の有無があるルールに基づく変数の閾値で行われる際に使用できる分析手法。
閾値近くの個体はほぼ同じ共変量を持った個体であると考えられるが、ルール変数と結果変数に相関がある場合、その閾値部分の差でバイアスが発生するため、単純には比較できない。
ルール変数によるバイアスを覗くために、RDDを用いた分析を行う。
結果変数を介入変数(0,1)とルール変数(実数)によって回帰する
その際に介入変数の係数が、介入の効果となる
www.slideshare.net
論文紹介になるが、「日銀のマイナス金利政策は銀行貸出を増加させたか？」についてRDDで分析した論文。いつか読む
https://www.rieti.go.jp/jp/publications/dp/18e086.pdf
差分の差分法(DID : difference in differences)
実験データの因果推論手法に記載したものと同じです。
操作変数法
結果への影響が及ぶ3番目の変数を特定することにより、因果関係を取り除く手法。
Xを共変量、Yを介入変数、Zを結果変数とする。
XはYにもZにも相関を持っている。
その時、
- X⇔Wの関係はなし
- W→Zの関係はあり
- W→Yの直接の関係はない（W→Z→Yはあり)
を満たすWの値を見つけることができた場合、
Wの変動でXは変動しないため、WとZの相関について調べることで、Xの効果を取り除いたZ→Yの効果を知ることができる。
手法の正しさをどう確かめるか
因果推論の有効性について、ほとんどがテスト不可能な仮定に基づいているため、注意して使用する必要がある。
Uberでは「因果モデル図を用いる」「反応度分析・感度分析を行う」「既知の因果効果を伴うシミュレーションテストを行う」などのアプローチを行いこの問題に対処している。
