はじめに

第1部では、アップリフトモデリングがなぜ必要とされるのか、そして代表的な手法であるTwo-Model法やMeta-Learnersの考え方を整理しました。

今回からは、実際のデータを使って手を動かしていきます。

使用するのは、アップリフトモデリングの教材として世界的に最もよく使われているHillstrom's MineThatData Email Analyticsデータセットです。

本記事のゴールは、このデータセットの中身を正しく理解した上で前処理を行い、Two-Model法とClass Transformation法という2つのモデルを実際に構築するところまでです。

使用するライブラリはpandas、scikit-learn、LightGBM、そしてアップリフトモデリング専用のscikit-upliftです。

1. データセットの概要

このデータセットは、Kevin Hillstrom氏が2008年に自身のブログ「MineThatData」で公開したものです。

直近12ヶ月以内に購入履歴のある64,000人の顧客を対象に、メール配信のRCTが実施されました。

全顧客は3群にランダムに割り当てられています。

1/3がメンズ商品を訴求するメール（Mens E-Mail）を、別の1/3がウィメンズ商品を訴求するメール（Womens E-Mail）を受け取り、残りの1/3は何も配信されないコントロール群（No E-Mail）となっています。

配信後2週間の顧客行動が追跡され、その結果がこのデータセットにまとめられています。

ちなみにKaggleに登録すれば、こちらからデータセットのダウンロードが可能です。

2. データの確認

実際にデータを読み込んで中身を見てみます。

import pandas as pd

df = pd.read_csv("Kevin_Hillstrom_MineThatData_E-MailAnalytics_DataMiningChallenge_2008.03.20.csv")
df.info()
'''
RangeIndex: 64000 entries, 0 to 63999
# Data columns (total 12 columns):
 #   Column           Non-Null Count  Dtype  
---  ------           --------------  -----  
 0   recency          64000 non-null  int64  
 1   history_segment  64000 non-null  object 
 2   history          64000 non-null  float64
 3   mens             64000 non-null  int64  
 4   womens           64000 non-null  int64  
 5   zip_code         64000 non-null  object 
 6   newbie           64000 non-null  int64  
 7   channel          64000 non-null  object 
 8   segment          64000 non-null  object 
 9   visit            64000 non-null  int64  
 10  conversion       64000 non-null  int64  
 11  spend            64000 non-null  float64
 '''

64,000行12列、欠損値もなくきれいなデータになっています。

各カラムの意味は以下の通りです。

recency:最終購入からの経過月数
history_segment / history:過去1年の購入金額を区分したセグメント文字列(例:"2) $100 - $200")と、その実数値
mens / womens:過去1年にメンズ/ウィメンズ商品を購入したことがあるか(0/1)
zip_code:居住地区分(Urban / Suburban / Rural)
newbie:直近12ヶ月以内の新規顧客かどうか(0/1)
channel:これまでの購入チャネル(Phone / Web / Multichannel)
segment:処置群の割当(Mens E-Mail / Womens E-Mail / No E-Mail)。これが処置変数(Treatment)にあたる
visit:配信後2週間以内にサイト訪問したか(0/1)
conversion:配信後2週間以内に購入したか(0/1)
spend:配信後2週間の購入金額

本記事での2群化について

このデータセットは処置群が3群（Mens E-Mail / Womens E-Mail / No E-Mail）ありますが、本記事ではこのうち「Mens E-Mail」と「No E-Mail」の2群に絞って実装します。

理由は、第1部で紹介したTwo-Model法やClass Transformation法をはじめ、

アップリフトモデリングの入門的な手法の多くが「施策あり/なし」という2値の処置変数を前提に設計されているためです。

3群（マルチアーム）を同時に扱う拡張は実装がもう一段複雑になるため、まずは2群のシンプルな枠組みで手法の挙動を理解することを優先します。

Womens E-Mailについては今回は扱いませんが、同じ手順をそのまま適用できるので、興味のある方はぜひ発展課題として試してみてください。

df2 = df[df["segment"].isin(["Mens E-Mail", "No E-Mail"])].copy()
df2["treatment"] = (df2["segment"] == "Mens E-Mail").astype(int)
print(df2.shape)
# (42613, 13)
print(df2["treatment"].value_counts())
# 1    21307
# 0    21306

2群に絞っても42,613人という十分なサンプルサイズが確保できています。

処置群・対照群もほぼ半々（21,307人 / 21,306人）で、きれいに揃っていることが確認できます。

本記事での目的変数の選定について

目的変数の候補はvisit・conversion・spendの3つがありますが、本記事ではvisit(サイト訪問)をメインの目的変数として採用します。

理由は、conversion（購入）の反応率が1%未満と極端に低く、サンプル不均衡が強すぎて、2群比較やモデル構築の教材としては学習が不安定になりやすいためです。

実際に確認してみます。

print(df2.groupby("treatment")[["visit", "conversion", "spend"]].mean())
#            visit  conversion     spend
# treatment
# 0          0.106     0.00573  0.652789
# 1          0.183     0.01253  1.422617

visitは対照群で約10.6%、処置群で約18.3%と、モデルが学習しやすい水準の反応率になっています。

一方conversionは対照群で0.57%、処置群でも1.25%程度しかなく、正例が極端に少ないため、この段階でモデル構築の練習台にするには不向きです。

ビジネス上最終的に重要なのはconversionやspendですが、これらは後段の記事で、visitで学んだ枠組みを応用する形で扱います。

3. 探索的データ分析

3.1 単純比較によるUpliftの確認

モデルを作る前に、まず「施策全体としてどれくらいの効果があったのか」を単純な反応率の差分で見ておきます。

uplift_visit = df2.groupby("treatment")["visit"].mean()
naive_uplift = uplift_visit[1] - uplift_visit[0]
print(f"素朴なUplift(visit) ={naive_uplift:.4f} ({naive_uplift*100:.2f}pt)")
# 素朴なUplift(visit) = 0.0766 (7.66pt)

Mens E-Mailの配信によって、サイト訪問率が全体で7.66ポイント向上したことが分かります。

これは第1部で紹介したQiniカーブやAUUCといった評価指標を使わずとも計算できる、最も素朴な形の施策効果です。

ちなみにこの7.66ポイントという数字は、Hillstromデータセットを使った既存の分析で報告されている数値とも一致しており、

データの読み込みや2群化の処理が正しく行われていることの裏付けにもなっています。

この全体平均としての7.66ポイントを、個々の顧客レベルでどこまで細かく推定できるか、というのが本シリーズの以降のパートで挑戦していく内容です。

3.2 ランダム化の検証（共変量のバランスチェック）

RCTが正しく機能していれば、処置群と対照群で顧客の属性（共変量）の分布に偏りがないはずです。

この確認は、アップリフトモデリングの前提が崩れていないかを確かめる重要なステップです。

for col in ["recency", "history", "mens", "womens", "newbie"]:
    print(col, df2.groupby("treatment")[col].mean().to_dict())

# recency {0: 5.75, 1: 5.77}
# history {0: 240.88, 1: 242.84}
# mens    {0: 0.553, 1: 0.551}
# womens  {0: 0.548, 1: 0.551}
# newbie  {0: 0.502, 1: 0.502}

数値変数はいずれも処置群・対照群でほぼ同じ水準になっています。

カテゴリ変数(zip_code、channel、history_segment)についても構成比を確認しましたが、いずれも群間で1〜2ポイント程度の差しかなく、ランダム化が意図通りに機能していることが確認できました。

もしここで大きな偏りが見つかった場合は、そもそもこのデータでアップリフトモデリングを行う前提が崩れていることになるため、モデル構築に進む前に必ず押さえておきたい工程です。

4. 前処理・特徴量エンジニアリング

history_segmentは"2) $100 - $200"のような文字列になっているため、先頭の数字部分だけを抽出して順序を持つ数値特徴量として扱います。

zip_codeとchannelはOne-Hot Encodingします。

df2["history_segment_num"] = df2["history_segment"].str.extract(r"^(\d+)\)").astype(int)

cat_cols = ["zip_code", "channel"]
df2 = pd.get_dummies(df2, columns=cat_cols, drop_first=True)

feature_cols = ["recency", "history", "history_segment_num", "mens", "womens", "newbie"] + \
    [c for c in df2.columns if c.startswith("zip_code_") or c.startswith("channel_")]

X = df2[feature_cols]
y = df2["visit"]
t = df2["treatment"]

学習用・評価用データの分割は通常のtrain_test_splitで行いますが、1点注意点があります。

処置群と対照群の比率が分割後も保たれるよう、stratifyに処置変数tを指定することです。

これを忘れると、たまたま片方のデータセットに処置群が偏って分割されてしまうことがあり、後続のモデル評価が不安定になります。

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test, t_train, t_test = train_test_split(
    X, y, t, test_size=0.3, random_state=42, stratify=t
)
print(X_train.shape, X_test.shape)
# (29829, 10) (12784, 10)

5. モデル構築

5.1 Two-Model法（T-Learner）の実装

Two-Model法は処置群・対照群それぞれで独立にモデルを学習し、予測値の差分をアップリフトとする手法です。

アルゴリズムには実務での採用例が多いLightGBMを使います。

import lightgbm as lgb

X_train_t = X_train[t_train == 1]; y_train_t = y_train[t_train == 1]
X_train_c = X_train[t_train == 0]; y_train_c = y_train[t_train == 0]

model_t = lgb.LGBMClassifier(n_estimators=200, max_depth=4, learning_rate=0.05, random_state=42)
model_c = lgb.LGBMClassifier(n_estimators=200, max_depth=4, learning_rate=0.05, random_state=42)
model_t.fit(X_train_t, y_train_t)
model_c.fit(X_train_c, y_train_c)

pred_t = model_t.predict_proba(X_test)[:, 1]
pred_c = model_c.predict_proba(X_test)[:, 1]
uplift_2model = pred_t - pred_c

テストデータに対する予測アップリフトの分布を見てみます。

print(pd.Series(uplift_2model).describe())
#   mean    0.0772
#   std     0.0516
#   min    -0.2713
#   25%     0.0479
#   50%     0.0719
#   75%     0.1024
#   max     0.3891

平均は0.0772（7.72%）となり、先ほど計算した単純比較によるUplift（7.66%）とほぼ一致しています。

これは全体平均としては妥当な結果が出ているという良いサインです。

一方で、標準偏差が0.0516あり、最小値はマイナス（-0.27）まで落ち込んでいます。

つまり、顧客によっては「配信すると逆に訪問確率が下がる」という天邪鬼層的な予測が出ている一方で、この個体レベルの予測にはかなりのばらつきが存在していることが分かります。

どの程度実際に影響しているかは、第3部で評価指標を使って定量的に見ていきます。

5.2 Class Transformation法の実装

Class Transformation法は、目的変数と処置フラグを組み合わせた新しい目的変数を作り、単一のモデルで学習する手法です。

処置群を1、非処置群を0としたとき、変換後の目的変数は次のように定義されます。

つまり「処置群で反応した人」と「対照群で反応しなかった人」を1、それ以外を0とラベル付けし直します。

この変換の直感は、「施策と行動が噛み合っているケース」を正例として学習させることで、モデルに処置効果の方向性を暗に学ばせる、というものです。

train_df = X_train.copy()
train_df["y"] = y_train.values
train_df["t"] = t_train.values
train_df["z"] = train_df["y"] * train_df["t"] + (1 - train_df["y"]) * (1 - train_df["t"])

model_ct = lgb.LGBMClassifier(n_estimators=200, max_depth=4, learning_rate=0.05, random_state=42)
model_ct.fit(X_train, train_df["z"])

pred_z = model_ct.predict_proba(X_test)[:, 1]
uplift_ct = 2 * pred_z - 1  # P(Z=1|X)からアップリフトへの変換

こちらも予測アップリフトの分布を確認します。

print(pd.Series(uplift_ct).describe())
#   mean    0.0776
#   std     0.0695
#   min    -0.4512
#   25%     0.0357
#   50%     0.0753
#   75%     0.1193
#   max     0.5137

平均値は0.0776とTwo-Model法とほぼ同じ水準ですが、標準偏差は0.0695とTwo-Model法（0.0516）よりも大きくなっています。

今回のデータ・条件では、Class Transformation法の方が個体ごとの予測に大きな振れ幅が出やすい傾向が見られました。

興味深いのは、この2つの手法の個体ごとの予測値の相関を見てみると、0.51程度にとどまっている点です。

import numpy as np
print(np.corrcoef(uplift_2model, uplift_ct)[0, 1])
# 0.5057

全体の平均値としてはどちらの手法もほぼ同じ7.7%前後に着地しているにもかかわらず、

「この顧客のアップリフトは高い/低い」という個体レベルの判定は、手法によって半分程度しか一致していないということです。

これはまさに、アップリフトモデリングの評価が個体単位では答え合わせできないことの実務的な現れであり、

次回第3部で扱うQiniカーブやAUUCといった評価指標が必要になる理由でもあります。

6. scikit-upliftを使った実装との比較

ここまでTwo-Model法を自前で実装しましたが、scikit-upliftというアップリフトモデリング専用のライブラリを使うと、同じ処理をより簡潔に書くことができます。

from sklift.models import TwoModels

tm = TwoModels(
    estimator_trmnt=lgb.LGBMClassifier(n_estimators=200, max_depth=4, learning_rate=0.05, random_state=42),
    estimator_ctrl=lgb.LGBMClassifier(n_estimators=200, max_depth=4, learning_rate=0.05, random_state=42),
    method="vanilla"
)
tm.fit(X_train, y_train, t_train)
uplift_sklift = tm.predict(X_test)

print(pd.Series(uplift_sklift).describe())
#   mean    0.0772
#   std     0.0516
#   min    -0.2713
#   ...(自前実装と完全に一致)

自前で実装した結果と完全に一致していることが確認できます。

skliftはTwo-Model法以外にもClass Transformation法(ClassTransformationクラス)やX-Learnerに近い手法など、

複数のアプローチを統一的なAPIで扱えるほか、次回扱うQiniカーブなどの評価関数も内蔵しています。

自前で実装して手法の中身を理解した上で、実務ではこうしたライブラリに移行していくのが効率的な進め方です。

まとめ

Hillstromデータセットを活用して、Mens E-Mailと No E-Mailの2群に絞ったデータの前処理を行い、Two-Model法とClass Transformation法という2つのアップリフトモデルを実際に構築しました。

どちらの手法も全体平均としては単純比較によるUplift（7.66pt）に近い妥当な結果を示す一方、個体レベルの予測には手法間で無視できないばらつきがあることも確認できました。

次回（第3部）では、この2つのモデルが実際にどれだけ「良いアップリフトモデル」なのかを、Qiniカーブ・AUUC・Uplift@kといった評価指標を使って定量的に評価します。

そして、そこから「上位n%にアプローチした場合の増分コンバージョン数」といったビジネス指標への変換、簡易的なROI試算まで踏み込んでいく予定です。

参考文献・リンク

Hillstrom, K. "The MineThatData E-Mail Analytics And Data Mining Challenge" (2008)
Radcliffe, N.J. "Hillstrom's MineThatData Email Analytics Challenge: An Approach Using Uplift Modelling" (2008), Stochastic Solutions Limited
scikit-uplift 公式ドキュメント