辛普森悖论

辛普森悖论当数据组显示一个特定的趋势时发生，但当这些组组合在一起时，此趋势发生逆转。理解和识别这一悖论对于正确解释数据非常重要。

例如，你和一个朋友在Brilliant上做问题，你的朋友在两天中每一天的答对比例都比你高。这是否意味着当这两天加起来时，你的朋友答对的比例比你高?不一定!

这种看似不直观的可能性被称为辛普森悖论．

让我们回到我们关于问题准确性竞争的例子，看看这是如何发生的。

星期六，你解决了 $7$ 的 $8$ 试图解决问题，但你的朋友解决了 $2$ 的 $2.$ 你解决了更多的问题，但你的朋友指出他更准确，因为 $< \ \ dfrac {7} {8} dfrac {2} {2}$ ．很好。
星期天，你只是尝试 $2$ 问题,有 $1$ 正确的。你的朋友了 $5$ 的 $8$ 正确的问题。你的朋友再次幸灾乐祸，因为 $< \ \ dfrac {1} {2} dfrac {5} {8}$ ．

然而，比赛的重点是谁的答案更准确在周末，而不是个别的日子。总的来说，你已经解决了 $8$ 的 $10$ 而你的朋友已经解决了问题 $7$ 的 $10$ 问题。因此，尽管你的朋友每天解决的问题比例更高，但实际上你在整个周末解决的问题比例更高，从而赢得了挑战!当你的朋友怒不可遏时，你平静地指给他看这一页:你刚刚展示了辛普森悖论的一个例子。

在这一页，我们将给出这个悖论的正式定义，展示一些有趣的现实例子，并为您提供一个机会，添加您自己遇到的辛普森悖论。

内容

定义

为什么它发生

其他应用程序

实际的例子

发布你自己的例子!

具有挑战性的例子

定义

在外行人的角度,辛普森悖论当某些组的数据在每一组中显示某种关系时发生，但当数据组合时，这种关系是相反的:

在上面的例子中，我们看到，当问题被分组到周六和周日时，你的朋友每天正确解决的比例更高，但当问题被组合到两天时，你实际上正确解决的比例更高。

辛普森悖论的这种常见形式可以定义如下:

考虑 $n$ 数据组这样的组 $我$ 有 $ai$ 试验和 $0 \leq a_i \leq a_i$ “成功”。类似地，考虑一个类比 $n$ 数据组这样的组 $我$ 有 $B_i$ 试验和 $0 \leq b_i \leq b_i$ “成功”。然后,辛普森悖论如果发生

$\压裂{ai} {ai} \ leq \压裂{b_i} {b_i} \文本所有}{我= 1,2 \ ldots{但}\ \ n \ \文本压裂{\ sum_ {i = 1} ^ {n} ai} {\ sum_ {i = 1} ^ {n} ai} \组\压裂{\ sum_ {i = 1} ^ {n} b_i} {\ sum_ {i = 1} ^ {n} b_i},$

至少有一个不等式是严格的(意思是它不是相等的情况)。当然，我们也可以翻转不等式仍然有悖论，因为 $一个$ 而且 $B$ 任意选择。 $_ \广场$

为了获得直观的感觉，让我们看看这个定义是如何应用到上面的例子中的。在那里, $ai / B_i$ 你/你的朋友每天尝试解决的问题的数量是多少 $ai / b_i$ 你/你的朋友每天解对的数字是多少?正如之前所看到的,

$\压裂{7}{8}= \压裂{a_1} {a_1} < \压裂{b_1} {b_1} = \压裂{2}{2}{和}\ \文本压裂{1}{2}= \压裂{a₂}{a₂}< \压裂{b_2} {b_2} = \压裂{5}{8},{然而}\ \文本压裂{7 + 1}{8 + 2}= \压裂{a₁+ a₂}{a₁+ a₂}> \压裂{b_1 + b_2} {b_1 + b_2} = \压裂{2 + 5}{2 + 8}。$

然而，这并不是辛普森悖论发生的唯一方式。一般来说，只要由单个类别的数据预测出趋势，辛普森悖论就会出现，但当所有类别的数据组合在一起时，趋势就会逆转。虽然这个模板只考虑二元的“成功”，其中每个单独的数据提供一个“是”或一个“否”，但这可以很容易地推广为数字，用于衡量趋势的措施是其平均值。我们甚至可以使用一些其他的度量(如中位数)。这将在下面的“其他应用程序”一节中讨论。

现在，让我们尝试一个例子来测试你识别辛普森悖论是否发生的能力!

为什么它发生

你已经看到了结果，但它为什么会发生?

通常情况下，人们会认为赢得所有小组的胜利就意味着赢得整体的胜利。然而，只有在组大小相等的情况下，才能保证这种情况。当群体规模不同时，每一方的总数可能由特定的群体占主导地位，但这些群体属于不同的类别。在上面的介绍例子中，总分是由每个玩家解决8个问题的天数所决定的，在这种情况下，你实际上是赢了( $7/8 > 5/8$ )，这就解释了为什么你总能赢(当这两天加起来的时候)。作为一个夸张的例子，考虑一个变体:

一天	你	你的朋友
周六	$\压裂{98}{99}= 98.99 \ %$	$\压裂{1}{1}= {# D61F06} \颜色{\ mathbf {100 \ %}}$
周日	$\压裂{0}{1}= 0 \ %$	$\压裂{1}{99}= {# D61F06} \颜色{\ mathbf 1.01 {\ %}}$
总计	$\压裂{98}{100}= {# D61F06} \颜色{\ mathbf {98 \ %}}$	$\压裂{2}{100}= 2 \ %$

占主导地位的群体显然是那些 $99$ 未遂问题。那些有 $1$ 只影响当天的胜者;它们对总数几乎没有任何影响。

当我们把大小相等的组排列起来时，我们可以看到这个悖论消失了:

大小	你	你的朋友
大	$\压裂{98}{99}= {# D61F06} \颜色{\ mathbf 98.99 {\ %}}$	$\压裂{1}{99}= 1.01 \ %$
小	$\压裂{0}{1}= 0 \ %$	$\压裂{1}{1}= {# D61F06} \颜色{\ mathbf {100 \ %}}$
总计	$\压裂{98}{100}= {# D61F06} \颜色{\ mathbf {98 \ %}}$	$\压裂{2}{100}= 2 \ %$

让我们再举一个例子来说明这些想法:

其他应用程序

上述定义提供了辛普森悖论的一种常见形式。然而，它也可以以其他方式发生。

数据，而不是“是”和“否”(二元成功)，可能是任意的实数，我们仍然可以有辛普森悖论的平均值:

类别	派1	派2
类别1	$6, 7, 8, 9 \到7.5$	$10 \ \颜色{# D61F06} {\ mathbf {10}}$
第二类	$0 \ 0$	$1,2,3,4 \to \color{#D61F06}{\mathbf{2.5}}$
总计	$0,6,7,8,9 \to \color{#D61F06}{\mathbf{6}}$	$1,2,3,4,10 \到4$

一个使用实数平均值的真实例子发生在所得税方面。在1974年到1978年之间，美国每一类收入的税率都在下降(5000美元以下、5000- 10000美元等)。然而，当所有人加起来时，平均税率增加了!

趋势也可以是中位数而不是平均数:

类别	派1	派2
类别1	$6, 7, 8, 9 \到7.5$	$10 \ \颜色{# D61F06} {\ mathbf {10}}$
第二类	$0 \ 0$	$1,2,3,4 \to \color{#D61F06}{\mathbf{2.5}}$
总计	$0,6,7,8,9 \to \color{#D61F06}{\mathbf{7}}$	$1,2,3,4,10 \到3$

事实上，辛普森悖论的一个现实例子涉及工资中位数。2000年至2012年间，美国工资中位数上涨了(约1%)。然而，同期美国工资中值却下降了每一个亚组:高中辍学生，高中毕业生但没有大学教育，大学教育，学士或更高学位。

虽然从技术上讲，趋势可以由许多功能表现出来，但最好的趋势是当这些组组合在一起时，人们不会期望能够反转的趋势。平均(mean)和中位数是很好的趋势;这些可能是违反直觉的，这恰好解释了名字悖论。

实际的例子

加州大学录取率

一项研究表明，总体而言，男性比女性更容易被接受(44%比35%)。然而，从各个部门来看，女性的录取率通常等于或高于男性的录取率。发生了什么事?事实上，女性倾向于申请更难被录取的部门。

肾结石治疗/救护车vs.直升机

先进的外科手术治疗肾结石的效果应优于传统的治疗方法。当数据被分为小肾结石和大肾结石时，先进的外科手术在每一组中都优于传统治疗方法。然而，当所有的病例结合在一起时，传统的治疗优于!

这怎么可能呢?当肾结石很大的时候先进的外科手术更常用。因此，与较小的结石相比，这些病例的失败率较高。因此，由于先进的外科手术在“艰难”的手术中使用最多，它的总体表现比传统治疗“更差”。

事实上，医疗后送直升机和传统救护车也有类似的结果。从总体数据来看，直升机确实如此更糟糕的是在挽救生命方面比救护车更在行，但这是因为它们被派往风险更高的地方。

低出生体重悖论

吸烟者所生的婴儿比不吸烟者所生的婴儿死亡率高。

婴儿可能出生时体重不足。事实证明，吸烟者所生的正常体重婴儿的死亡率与不吸烟者所生的正常体重婴儿的死亡率相同。

然而，吸烟者所生的体重不足的婴儿有一个较低的比非吸烟者生育的体重不足婴儿死亡率高。

你能猜到为什么会这样吗?

击球平均值

一名棒球运动员的击球率可能在两年中每一年都比另一名棒球运动员高，但在两年中相加时，击球率可能比另一名棒球运动员低。在1995年和1996年，大卫·贾斯特斯的打击率高于德里克·基特，但在这两年里，基特的打击率更高。

地区歧视

有可能在多个领域赢得更高比例的选票，但却输掉了全部选票。这是一个现实世界的现象，可以在美国的选举人团模型中部分看到。试试这个辛普森的例子:

在最近的一次选举中，杂耍鲍勃和乔·昆比决定竞选斯普林菲尔德市长。这个决定取决于两个地区的结果:城市和农村。赢得两个选区的候选人就赢得了选举。

结果表明:

在这个城市: 25000票中15000票投给杂耍鲍勃，5000票中4000票投给乔·昆比。

在农村: 5000人中有1000人投给杂耍鲍勃，25000人中有7500人投给乔·昆比。

表格的数据:

候选人	城市	农村
杂耍鲍勃	$\压裂{15000}{25000}= 60 \ %$	$\压裂{1000}{5000}= 20 \ %$
新闻官Joe Quimby	$\压裂{4000}{5000}= {# D61F06} \颜色{\ mathbf {80 \ %}}$	$\压裂{7500}{25000}= {# D61F06} \颜色{\ mathbf 30 {\ %}}$

因为无论在城市还是乡村，都有较高比例的人投票给乔·昆比，乔·昆比再次当选斯普林菲尔德市长。

如果决定不取决于赢得单个选区，而是取决于在整个人口中赢得更多的选票，那么就表明杂耍鲍勃会赢得选举。还有，如果杂耍鲍勃打败乔·昆比 $x \ %$ 总选民的价值是多少 $x ?$

图片来源:Simpsons Wikia。

发布你自己的例子!

请随意在下面添加您自己的示例!如果你能够完善它，你的例子甚至可能出现在上面。

安德鲁:我在为以前的公司做数据分析时，看到了一个辛普森悖论的真实例子。从2012年到2013年，每个年级代数期末考试的通过率都在上升，但整体通过率却在下降!

写你的下面!

具有挑战性的例子

这里有一些有趣的例子，你可以尝试一下。

第一个很直接:

这里有更多的挑战:

我有四个盒子，每个盒子里都有红色和蓝色的球。

	箱一个	箱B	盒子C	盒子维
$文本\{红色}$	$70$	$y$	$2$	$7$
$文本\{蓝色弹珠}$	$30.$	$3.$	$98$	$53$

如果从盒子a中随机选出一个红色弹珠的概率是 $一个$ ，从盒子B中随机抽取一个红色弹珠的概率为 $b$ ,然后 $< b$ ．

假设我们把盒子A和盒子C中的所有玻璃球放到另一个盒子AC中;同样地，我们将盒子B和盒子D中的所有弹珠分组到另一个盒子BD中，现在，从盒子AC中随机选择一个红色弹珠的概率比从盒子BD中随机选择一个红色弹珠的概率高。

的最大值和最小值的和是多少 $y$ 在哪些方面符合上述条件?

图片来源:Flickr Lyle。

如果你正在寻找一些真正困难的东西，看看这个:

找到辛普森悖论最小的例子;也就是说，构建这样的表，其中案例的数量是最小的。正式,假设 $a, b, x, y$ 是非负整数和 $A, B, X, Y$ 正整数是这样的吗 $a \le a, b \le b, x \le x, y \le y$ ,也 $\ dfrac{一}{一}> \ dfrac {x} {x}$ ， $\ dfrac {b} {b} > \ dfrac {y} {y}$ ,但 $\ dfrac {a + b} {a + b} < \ dfrac {x + y} {x + y}$ ．的最小值 $A + B + X + Y$ ．

例子:肾结石有两种，小结石和大结石。也有两种治疗方法，简单治疗和复杂治疗。成功病例数除以每种结石/治疗组合的病例数，显示在下表中。

	小石头	巨大的石头	这两个
复杂的治疗	81/87(93%)	192/263(73%)	273/350 (78%)
简单的治疗	234/270 (87%)	55/80 (69%)	289/350(83%)

正如我们所看到的，复杂的处理方法在小结石病例中表现更好，在大结石病例中也是如此，但是当数据结合起来时，简单的处理方法表现更好。

在上面的样本中，总共考虑了700个案例，其中350个复杂处理和350个简单处理(或者是357个小结石案例和343个大结石案例)。这个问题要求考虑的案例的最小可能总数。

澄清:在通常的辛普森悖论中，它允许有几个弱不等式(上面的一些不等式可能实际上是等式)。因此，这个问题具有更强的辛普森悖论形式，即没有一个不等式可能是相等的。

药物名称	AntiCynicismia	AntiMisantropia
A组	545人中有436人被治愈，或者80％成功率	十个人中有九个治愈了，或者90％成功率
B组	350人中有245人被治愈，或者70％成功率	20人中有16人被治愈，或者80％成功率
C组	80人中有48人被治愈，或者60％成功率	30个人中有21人被治愈，或者70％成功率
D组	20个人中有10个人被治愈了，或者50％成功率	300人中有180人被治愈，或者60％成功率
E组	五分之二的人被治愈了，或者40%成功率	640人中有320人被治愈，或者50％成功率

	16至21岁	22至30岁	31至50岁	年龄在51岁及以上
自动	100人中的90%	200人中的60%	300人中的50%	400人中的50%
手册	400人中的80%	300人中的40%	200人中的40%	100人中的40%

有关……

内容

你已经看到了结果，但它为什么会发生?

图片来源:Simpsons Wikia。

写你的下面!

图片来源:Flickr

图片来源:Flickr Lyle。