围棋吧 关注:338,686贴子:10,251,715
  • 1回复贴,共1

围棋吧的数据分析素养实在是有点难蹦

取消只看楼主收藏回复

或者说大多数对统计,数据分析没有深入了解的人一本正经给你摆数据给结论,真的令人很难蹦。一个共性的问题就是完全忽略了数据因子之间的相关性。同时把频率当概率。举两个经典例子进行说明。
1.通过围甲黑白胜率相近来论证中国规则的公平性。
存在的问题:完全忽略了选手的水平影响,比如一个高手一盘执白一盘执黑,都赢了胜率黑白胜率就是50%。这样的结果显然没有ai给出的中国规则不公平的结论可信(注意我说的是ai更可信而不是ai就是对的)
2.首页的帖子。通过什么三星杯lg杯的夺冠次数,论证三星获胜才是棋力最强的证明(暗戳戳没收小李一个三星冠军)来捧我们的八败王。
存在的问题:忽略了对手因素,样本太小完全无法给出合理置信度。
本质上,统计建模就是用数据建模分布,用频率估计概率。根据建模的不同结论也可能有很多不同,但这些一眼搞笑的分析,建模是没有的,拉个excel算个百分比就得出结论的实在很难蹦得住。
永远记住一点,数据只能是数据。比如孟获连败小申八次,只能说明他真的败了八次。你如果想要的出小申比孟获强的。最起码应该像这样,
假设小申比孟获强,考虑二分类概率p
### 步骤
1. **设定原假设和备择假设**: - 原假设 \( H_0 \):\( p \leq 0.5 \) - 备择假设 \( H_1 \):\( p > 0.5 \)
2. **选择显著性水平**: - 通常选择显著性水平 \( \alpha \) 为0.05或0.01。这里我们选择 \( \alpha = 0.05 \)。
3. **计算检验统计量**: - 我们使用二项分布来计算检验统计量。由于样本量很小,我们可以直接使用二项分布的确切概率。 - 在原假设下,\( X \) 服从参数为 \( n = 8 \) 和 \( p = 0.5 \) 的二项分布 \( B(n=8, p=0.5) \)。
4. **计算观察到的数据的 p 值**: - \( p \) 值是指在原假设为真时,观察到极端或更极端数据的概率。 - \( P(\text{观测值} \geq 8) \)
5. **做出决策**: - 如果 \( p \) 值小于显著性水平 \( \alpha \),我们拒绝原假设。
### 计算过程
1. **计算 p 值**:\[lbk] P(X \geq 8 \mid H_0: p = 0.5) = P(X = 8 \mid H_0: p = 0.5) \[rbk]
二项分布的概率质量函数(PMF)为:\[lbk] P(X = k) = \binom{n}{k} p^k (1-p)^{n-k} \[rbk]
对于 \( k = 8 \), \( n = 8 \), \( p = 0.5 \):\[lbk] P(X = 8) = \binom{8}{8} (0.5)^8 (1-0.5)^0 = 1 \cdot 0.5^8 \cdot 1 = 0.5^8 = \frac{1}{256} \approx 0.0039 \[rbk]
2. **决策**:- 由于 \( p \) 值 \( \approx 0.0039 \) 小于显著性水平 \( \alpha = 0.05 \),我们拒绝原假设。
### 结论
在显著性水平 \( \alpha = 0.05 \) 下,我们有足够的证据拒绝原假设 \( H_0 \),即 \( p \leq 0.5 \)。因此,我们可以认为 \( p > 0.5 \)。即小申有超过95%的可能比孟获强。
当然这只是很简单的建模,没有考虑随时间实力增长的因素,但是连这种东西都拿不出来的,拜托别一本正经学人分析数据了。


IP属地:上海来自iPhone客户端1楼2024-09-09 17:46回复
    额,用gpt生成的假设检验过程一堆latex懒得改了,贴吧对latex不友好。有兴趣可以自己放进tex里看一下。顺便,挂一下这位可能没上过大学的同学,我印象中大多数理科都会将概率论与数理统计单独开一门课的,这真的是最简单的数据分析素养,你连这都不知道还不肯承认我很难跟你解释清楚。


    IP属地:上海来自iPhone客户端2楼2024-09-09 17:51
    收起回复