2017 Uri Shalit & Fredrik D. Johansson：Jobs

  1986年，Lalonde公开的一个数据集，被因果推理社区作为了基准数据集。在该数据集中，干预(即Treatment)为是否接受就业培训，结果(Outcomes)是收入和就业状况。2005年，Smith & Todd结合了国家对工作工程统计的观测性数据，扩展成了一个更大的数据集——随机分组使得因果效应的ground truth可以被估计。这项数据集共包含8个协变量，比如说年龄、教育程度、先前收入…本文在此基础上，采用2002年Dehejia & Wahba提出的特征集，构建了一个二元分类任务，Jobs，其目标是去预测是否未来失业。基于2005年Smith & Todd的研究工作，本文用到的数据样本来自LaLonde数据集(干预组：297；控制组：425)和PSID对比组(控制组：2490)。截至研究结束，共有482名受试者(约15%)失业。我们按比例56/24/20随机划分train/validation/test数据集，并做了10次实验，然后将其结果平均。

  因为所有干预组成员(297)都是原始随机样本E(LaLonde数据集)的一部分，因此我们可以估计干预组的平均干预效应：$\mathrm{ATT}=|T|^{-1} \sum_{i \in T} y_{i}-|C \cap E|^{-1} \sum_{i \in C \cap E} y_{i}$ATT=∣T∣−1∑i∈T​yi​−∣C∩E∣−1∑i∈C∩E​yi​，其中$C$C代表控制组。估计误差即为：$\epsilon_{\mathrm{ATT}}=| \mathrm{ATT}-\frac{1}{|T|} \sum_{i \in T}\left(f\left(x_{i}, 1\right)-\right.\left.f\left(x_{i}, 0\right)\right)|$ϵATT​=∣ATT−∣T∣1​∑i∈T​(f(xi​,1)−f(xi​,0))∣。在这个数据集上我们无法评估$\epsilon_{\mathrm{PEHE}}$ϵPEHE​，因为我们没有可用于$ITE$ITE评估的$ground$ground $truth$truth。因此，为了评估模型$ITE$ITE估计的性能，我们选取的指标为：策略风险。$ITE$ITE估计器采用策略在训练时的策略风险被视为平均损失(loss)。在本文设计中，对于模型函数$f$f，我们的干预策略为：$\pi_{f}(x)=1，f(x, 1)-f(x, 0)>\lambda$πf​(x)=1，f(x,1)−f(x,0)>λ；我们的控制策略为：$\pi_{f}(x)=1，otherwise$πf​(x)=1，otherwise。该策略风险即为：$R_{\mathrm{Pol}}\left(\pi_{f}\right)=1-\left(\mathbb{E}\left[Y_{1} | \pi_{f}(x)=1\right] \cdot p\left(\pi_{f}=1\right) +\mathbb{E}\left[Y_{0} | \pi_{f}(x)=0\right] \cdot p\left(\pi_{f}=0\right)\right)$RPol​(πf​)=1−(E[Y1​∣πf​(x)=1]⋅p(πf​=1)+E[Y0​∣πf​(x)=0]⋅p(πf​=0))。我们可以采用下式估计随机试验子集的策略风险值$\hat{R}_{\mathrm{Pol}}\left(\pi_{f}=1-\left(\mathbb{E}\left[Y_{1} | \pi_{f}(x)=1, t=1\right] \cdot p\left(\pi_{f}=1\right)+\mathbb{E}\left[Y_{0} | \pi_{f}(x)=0, t=0\right] \cdot p\left(\pi_{f}=0\right)\right)\right.$R^Pol​(πf​=1−(E[Y1​∣πf​(x)=1,t=1]⋅p(πf​=1)+E[Y0​∣πf​(x)=0,t=0]⋅p(πf​=0))  干预阈值$λ$λ的函数风险如下图所示，按干预比例排列。