はじめに

第2部では、Hillstromデータセットを使ってTwo-Model法とClass Transformation法という2つのアップリフトモデルを構築しました。

どちらのモデルも、テストデータ全体での平均予測アップリフトは単純比較によるUplift（7.66pt）にほぼ一致しており、一見すると「ちゃんと機能している」ように見えました。

しかし第1部で強調した通り、アップリフトモデルの本当の実力は、平均値の一致だけでは測れません。

「この人は施策に強く反応する」「この人はほぼ反応しない」という順位付けがどれだけ正確にできているかが本質的な評価軸です。

本記事では、Qiniカーブ・AUUC・Uplift@kという評価指標を実際に計算し、2つのモデルの本当の実力を検証します。

そして、その結果を踏まえてビジネス指標への変換とROI試算まで行います。

先に結論めいたことを言ってしまうと、今回はモデルにとって少し厳しい、しかし実務的にはとても示唆に富む結果が出ました。

1. 前回の振り返り

第2部で構築した2つのモデルのおさらいです。

X_test・y_test(visit)・t_test(処置フラグ)に対して、Two-Model法とClass Transformation法それぞれの予測アップリフトスコアが手元にあります。

# 第2部で作成済みの変数
# uplift_2model: Two-Model法の予測アップリフト
# uplift_ct:     Class Transformation法の予測アップリフト
# y_test, t_test: テストデータの正解ラベルと処置フラグ

2. Qiniカーブの実装と可視化

第1部で解説した通り、Qini Curveは予測アップリフトの高い順に顧客を並べ、上位から累積的にアプローチした場合の増分反応者数を、処置群・対照群のサイズ差を補正した上で描いたグラフです。

scikit-upliftにも可視化関数がありますが、環境によっては依存ライブラリの互換性で動かないことがあるため、ここでは仕組みの理解も兼ねて自前で実装します。

def qini_curve_points(y, t, score, n_points=100):
    y = np.asarray(y)
    t = np.asarray(t)
    score = np.asarray(score)
    order = np.argsort(-score)
    y, t = y[order], t[order]
    n = len(y)
    n_t_total = t.sum()
    n_c_total = n - n_t_total
    fracs = np.linspace(0, 1, n_points + 1)
    xs, ys = [0.0], [0.0]
    for f in fracs[1:]:
        k = int(np.ceil(f * n))
        sub_y, sub_t = y[:k], t[:k]
        y_t = sub_y[sub_t == 1].sum()
        y_c = sub_y[sub_t == 0].sum()
        n_t = sub_t.sum()
        n_c = k - n_t
        val = y_t - y_c * (n_t_total / n_c_total) if n_c > 0 else 0
        xs.append(f); ys.append(val)
    return np.array(xs), np.array(ys)

fig, axes = plt.subplots(1, 2, figsize=(12, 5))
for ax, score, name in zip(axes, [uplift_2model, uplift_ct], ["Two-Model法", "Class Transformation法"]):
    xs, ys = qini_curve_points(y_test, t_test, score)
    ax.plot(xs, ys, label="モデル")
    ax.plot([0, 1], [0, ys[-1]], linestyle="--", color="gray", label="ランダム")
    ax.set_xlabel("アプローチした人口割合")
    ax.set_ylabel("累積増分反応者数(調整済み)")
    ax.set_title(f"Qini Curve:{name}")
    ax.legend()
plt.tight_layout()
plt.savefig("qini_curves.png", dpi=130)

出てきたグラフを見て、正直なところ少し驚きました。

どちらのモデルも、曲線がランダムの直線を明確に上回っている箇所がほとんどなく、曲線自体がほぼ直線に近い、あるいは一部ランダムラインを下回る形になっています。

第2部で「平均値は単純比較によるUpliftとほぼ一致していた」ことを踏まえると意外に思うかもしれませんが、

これはまさに「平均が合っていることと、個体の順位付けが正確なことは別問題である」という内容そのものが実データで再現された形です。

3. AUUC・Qini係数の算出

グラフの見た目だけでなく、数値でも確認します。

scikit-upliftのqini_auc_scoreを使うと、Qiniカーブとランダムラインの面積差を1つのスカラー値として得られます。

from sklift.metrics import qini_auc_score, uplift_auc_score

print("Qini AUC (Two-Model法):", qini_auc_score(y_test, uplift_2model, t_test))
print("Qini AUC (Class Transformation法):", qini_auc_score(y_test, uplift_ct, t_test))

# Qini AUC (Two-Model法): -0.0139
# Qini AUC (Class Transformation法): -0.0082

両モデルともマイナスの値が出ました。

Qini AUCはランダムに配信した場合との差分なので、

マイナスということは「このモデルの順位付けに従ってターゲティングするより、ランダムに配信した方がまだマシ」という、厳しい結果を意味します。

参考までに、処置群・対照群のサイズ差を補正しない通常のUplift AUCでも計算してみましたが、傾向は同じでした。

print("Uplift AUC (Two-Model法):", uplift_auc_score(y_test, uplift_2model, t_test))
print("Uplift AUC (Class Transformation法):", uplift_auc_score(y_test, uplift_ct, t_test))

# Uplift AUC (Two-Model法): -0.0081
# Uplift AUC (Class Transformation法): -0.0046

4. Uplift@kの算出

上位k%にアプローチした場合の増分反応率も確認します。

from sklift.metrics import uplift_at_k

for k in [0.1, 0.2, 0.3, 0.5]:
    u1 = uplift_at_k(y_test, uplift_2model, t_test, strategy="overall", k=k)
    u2 = uplift_at_k(y_test, uplift_ct, t_test, strategy="overall", k=k)
    print(f"k={k}: Two-Model={u1:.4f}, ClassTransform={u2:.4f}")

# k=0.1: Two-Model=0.0448, ClassTransform=0.0784
# k=0.2: Two-Model=0.0598, ClassTransform=0.0662
# k=0.3: Two-Model=0.0612, ClassTransform=0.0726
# k=0.5: Two-Model=0.0693, ClassTransform=0.0714

ここでも気になる傾向が出ています。

本来、良いモデルであればkが小さいほど(上位に絞るほど)Uplift@kは高くなるはずです。

しかし実際の結果はほぼ逆で、kを大きくして母集団を広げるほどUplift@kがわずかに上昇しています。

これは、モデルが「本当に反応する人」を上位に集められていないことを示す、もう1つの根拠です。

5. モデル評価から見えてきたこと

3つの指標（Qiniカーブ、Qini AUC、Uplift@k）がすべて同じ方向を示しています。

今回構築したTwo-Model法・Class Transformation法は、集団全体の平均アップリフトは正しく捉えられているものの、

「どの顧客が施策に強く反応するか」という個体レベルの順位付けについては、ランダムな配信とほとんど変わらない、あるいはそれ以下の精度しか持っていません。

これは実装のミスというより、Hillstromデータセット自体の性質に起因する部分が大きいと考えられます。

もともとこのキャンペーンは、施策効果(処置効果)自体は明確に存在するものの、

顧客属性による効果の異質性（どの顧客層でより効きやすいか）が弱いことが、過去の分析でもたびたび指摘されているデータセットです。

言い換えると、「メールを送れば全体として反応率は上がるが、その上がり方は顧客によってそこまで大きく変わらない」というのが、このキャンペーンの実態に近い可能性があります。

ここで大事なのは、この結果を「モデル構築に失敗した」と捉えるのではなく、「評価まで正しく行ったからこそ、モデルに個体レベルの判断を委ねるべきではないと分かった」と捉えることです。

もし第2部の時点で「平均値が合っているから良いモデルだ」と判断してビジネス側に提案していたら、効果のない(あるいは有害な)ターゲティング施策を実行してしまっていたかもしれません。

Qiniカーブによる評価は、まさにこうした誤った意思決定を防ぐためにあります。

6. ビジネス指標への変換

理論上の評価指標だけでなく、ビジネス上意味のある指標(conversion・spend)で見た場合にどうなるかも確認しておきます。

予測アップリフトの上位k%に絞った場合の、実際のspend(購入金額)の増分を計算します。

conv_test = df2.loc[X_test.index, "conversion"]
spend_test = df2.loc[X_test.index, "spend"]

df_eval = pd.DataFrame({"t": t_test, "conv": conv_test, "spend": spend_test, "score": uplift_2model})
df_eval = df_eval.sort_values("score", ascending=False).reset_index(drop=True)
n = len(df_eval)

for k in [0.1, 0.2, 0.3, 0.5, 1.0]:
    topk = df_eval.iloc[:int(n * k)]
    vt = topk[topk["t"] == 1]["spend"].mean()
    vc = topk[topk["t"] == 0]["spend"].mean()
    print(f"k={k}: spend_uplift=${vt - vc:.4f}")

# k=0.1: spend_uplift=$0.5032
# k=0.2: spend_uplift=$0.6521
# k=0.3: spend_uplift=$0.6027
# k=0.5: spend_uplift=$0.9128
# k=1.0: spend_uplift=$1.0265(=全員に配信した場合の増分)

この結果は、先ほどのQiniカーブの評価と完全に整合しています。

予測アップリフト上位10%〜50%に絞ったどのケースでも、spend増分は「全員に配信した場合（k=1.0、$1.0265）」を上回っていません。

つまり今回作ったモデルでターゲットを絞るという判断は、少なくともこのデータにおいては、ビジネス指標で見ても得策ではないということです。

7. ROI試算:「絞る」べきか「全員に配る」べきか

最後に、簡単なROIの試算をしてみます。

メール配信には多少のコストがかかるという前提で、1通あたりのコストを$0.05と仮置きします（これは実データにはない、説明のための仮の数値です）。

cost_per_email = 0.05  # 仮の数値

for k in [0.1, 0.2, 0.3, 0.5, 1.0]:
    topk = df_eval.iloc[:int(n * k)]
    vt = topk[topk["t"] == 1]["spend"].mean()
    vc = topk[topk["t"] == 0]["spend"].mean()
    spend_uplift = vt - vc
    profit_per_targeted = spend_uplift - cost_per_email
    print(f"k={k}: 配信対象者1人あたりの利益 = ${profit_per_targeted:.4f}")

# k=0.1: $0.4532
# k=0.2: $0.6021
# k=0.3: $0.5527
# k=0.5: $0.8628
# k=1.0: $0.9765  ← 全員配信が最も利益率が高い

この試算からも、全員に配信した場合（k=1.0）が最も1人あたりの利益が高いという結論になりました。

メール配信のようにコストが極めて低い施策で、かつ今回のように顧客間の効果の異質性が弱いケースでは、

「モデルで絞り込む」こと自体がむしろ機会損失（本来送れば反応したはずの層を除外してしまう）につながりやすいということが、実際の数字で確認できます。

一方で、この結論がすべての施策に当てはまるわけではない点には注意が必要です。

もし1件あたりのコストがもっと高い施策であれば話は変わってきます。

コストが高くなるほど、「効果がありそうな人にだけ絞る」ことの経済的な価値は相対的に大きくなるため、

たとえモデルの精度がそこまで高くなくても、ある程度絞り込むこと自体に意味が出てくる場面はあります。

今回のケースでたまたま「絞らない方が良い」という結論になったのは、あくまでこのキャンペーン・このコスト構造だからこその結果であり、

この判断のロジック自体（Qiniカーブで異質性を確認し、コストと照らし合わせて判断する）がどんな施策にも応用できる汎用的な考え方です。

まとめ

本記事では、第2部で構築した2つのアップリフトモデルを、Qiniカーブ・Qini AUC・Uplift@kという指標で評価しました。

結果として、どちらのモデルも集団平均のアップリフトこそ正しく捉えていたものの、

個体レベルの順位付け精度についてはランダムな配信とほとんど変わらないという、モデルにとっては厳しい結果が出ました。

その背景には、Hillstromデータセット自体が持つ「処置効果はあるが、その異質性は弱い」という性質があると考えられます。

そしてこの結果を踏まえたビジネス指標・ROIの試算では、少なくとも今回のコスト構造では、モデルで絞り込むより全顧客に配信した方が経済的に有利という結論になりました。

次回、第4部ではシリーズ全体のまとめとして、第1部から第3部までを振り返り、実務でアップリフトモデリングに取り組む際に押さえておきたいポイントを整理します。

参考文献・リンク

Hillstrom, K. "The MineThatData E-Mail Analytics And Data Mining Challenge" (2008)
Radcliffe, N.J. "Hillstrom's MineThatData Email Analytics Challenge: An Approach Using Uplift Modelling" (2008), Stochastic Solutions Limited
scikit-uplift 公式ドキュメント