围棋吧 关注:338,686贴子:10,249,852

围棋吧的数据分析素养实在是有点难蹦

只看楼主收藏回复

或者说大多数对统计,数据分析没有深入了解的人一本正经给你摆数据给结论,真的令人很难蹦。一个共性的问题就是完全忽略了数据因子之间的相关性。同时把频率当概率。举两个经典例子进行说明。
1.通过围甲黑白胜率相近来论证中国规则的公平性。
存在的问题:完全忽略了选手的水平影响,比如一个高手一盘执白一盘执黑,都赢了胜率黑白胜率就是50%。这样的结果显然没有ai给出的中国规则不公平的结论可信(注意我说的是ai更可信而不是ai就是对的)
2.首页的帖子。通过什么三星杯lg杯的夺冠次数,论证三星获胜才是棋力最强的证明(暗戳戳没收小李一个三星冠军)来捧我们的八败王。
存在的问题:忽略了对手因素,样本太小完全无法给出合理置信度。
本质上,统计建模就是用数据建模分布,用频率估计概率。根据建模的不同结论也可能有很多不同,但这些一眼搞笑的分析,建模是没有的,拉个excel算个百分比就得出结论的实在很难蹦得住。
永远记住一点,数据只能是数据。比如孟获连败小申八次,只能说明他真的败了八次。你如果想要的出小申比孟获强的。最起码应该像这样,
假设小申比孟获强,考虑二分类概率p
### 步骤
1. **设定原假设和备择假设**: - 原假设 \( H_0 \):\( p \leq 0.5 \) - 备择假设 \( H_1 \):\( p > 0.5 \)
2. **选择显著性水平**: - 通常选择显著性水平 \( \alpha \) 为0.05或0.01。这里我们选择 \( \alpha = 0.05 \)。
3. **计算检验统计量**: - 我们使用二项分布来计算检验统计量。由于样本量很小,我们可以直接使用二项分布的确切概率。 - 在原假设下,\( X \) 服从参数为 \( n = 8 \) 和 \( p = 0.5 \) 的二项分布 \( B(n=8, p=0.5) \)。
4. **计算观察到的数据的 p 值**: - \( p \) 值是指在原假设为真时,观察到极端或更极端数据的概率。 - \( P(\text{观测值} \geq 8) \)
5. **做出决策**: - 如果 \( p \) 值小于显著性水平 \( \alpha \),我们拒绝原假设。
### 计算过程
1. **计算 p 值**:\[lbk] P(X \geq 8 \mid H_0: p = 0.5) = P(X = 8 \mid H_0: p = 0.5) \[rbk]
二项分布的概率质量函数(PMF)为:\[lbk] P(X = k) = \binom{n}{k} p^k (1-p)^{n-k} \[rbk]
对于 \( k = 8 \), \( n = 8 \), \( p = 0.5 \):\[lbk] P(X = 8) = \binom{8}{8} (0.5)^8 (1-0.5)^0 = 1 \cdot 0.5^8 \cdot 1 = 0.5^8 = \frac{1}{256} \approx 0.0039 \[rbk]
2. **决策**:- 由于 \( p \) 值 \( \approx 0.0039 \) 小于显著性水平 \( \alpha = 0.05 \),我们拒绝原假设。
### 结论
在显著性水平 \( \alpha = 0.05 \) 下,我们有足够的证据拒绝原假设 \( H_0 \),即 \( p \leq 0.5 \)。因此,我们可以认为 \( p > 0.5 \)。即小申有超过95%的可能比孟获强。
当然这只是很简单的建模,没有考虑随时间实力增长的因素,但是连这种东西都拿不出来的,拜托别一本正经学人分析数据了。


IP属地:上海来自iPhone客户端1楼2024-09-09 17:46回复
    额,用gpt生成的假设检验过程一堆latex懒得改了,贴吧对latex不友好。有兴趣可以自己放进tex里看一下。顺便,挂一下这位可能没上过大学的同学,我印象中大多数理科都会将概率论与数理统计单独开一门课的,这真的是最简单的数据分析素养,你连这都不知道还不肯承认我很难跟你解释清楚。


    IP属地:上海来自iPhone客户端2楼2024-09-09 17:51
    收起回复


      IP属地:四川来自Android客户端3楼2024-09-09 18:31
      回复
        图不错


        IP属地:北京来自Android客户端4楼2024-09-09 18:33
        回复
          你废话太多了,这种帖子在论坛根本没人看的。


          IP属地:上海来自iPhone客户端5楼2024-09-09 18:35
          收起回复
            说二项分布太复杂了,说n重伯努利试验估计很多人就能听懂了


            IP属地:广东6楼2024-09-09 18:43
            回复
              证明小申比柯洁强
              其实不需要这么多步骤这么多计算
              这八盘
              有个人赛有团体赛
              有联赛有综合性运动会
              有快棋有慢棋
              有一目半有几十目
              分布的时间类型黑棋白棋
              挺全的
              加上等级分让先式的巨大鸿沟
              再加上四年零冠和四年七冠的差距
              绝不是一个公式或者一个推理就能抹杀的


              IP属地:湖南7楼2024-09-09 18:50
              收起回复
                第一个问题实际上围甲胜率比AI的可信度更高,AI胜率只能证明AI白棋占优,不能证明人类白棋占优


                IP属地:上海来自Android客户端8楼2024-09-09 18:52
                收起回复
                  步骤可以更书面点有点累眼睛
                  概率论与数理统计现在应该不少专业都得学吧,有点统计常识对于防忽悠还是略有裨益的


                  IP属地:北京来自Android客户端9楼2024-09-09 19:00
                  收起回复
                    逛贴吧就看个乐子,老子看乐子还要一堆分析那我为什么不去写论文


                    IP属地:上海来自Android客户端10楼2024-09-09 19:01
                    收起回复


                      IP属地:广东来自Android客户端11楼2024-09-09 19:23
                      回复
                        你这个统计学对99%的野狐棋迷和职业棋手来说是天书,看不懂,听不懂。完全是对牛弹琴,他们喜欢强的,帅的,总而言之,给人一种似乎是0的感觉


                        IP属地:四川来自Android客户端12楼2024-09-09 20:46
                        回复
                          围棋上的数据向来只能作为经验判断的论据而不能作为客观抽象的论证。因为围棋上的东西最终还是要回到棋的内容而不是列数字。柯硬实力不如申也不是通过八败之交论证的,而是棋局内容的脆败论证的。小申虽然之前打过朴廷桓7-0,但是内容上当时并不明显强于朴,因此也很难说当时小申就比老朴强。
                          由于很多因素无法客观测定,仅靠数据做论证本就是无稽之谈。更多时候其只能充当一个现象,粗略的勾勒一个棋手的状态(胜率)或两个棋手交手的优劣势(战绩)


                          IP属地:北京来自iPhone客户端13楼2024-09-09 22:42
                          收起回复
                            还好我都不关心,我只是来吃瓜和看萌新的


                            IP属地:河南14楼2024-09-09 22:58
                            回复
                              AI认为5目半比7目半更公平,不清楚人类顶尖棋手对这个问题的会有什么看法。


                              IP属地:黑龙江15楼2024-09-09 23:49
                              收起回复