网页资讯视频图片知道文库贴吧地图采购
进入贴吧全吧搜索
数据分析吧 关注：46,629贴子：583,982

回复：数据分析对统计学要求大吗？我看到假设检验和样本统计量估算总体

2019.1.2 多云
又是面对苦逼的算法，老实说现在为了理解一句代码往往需要翻另一本书的公式看上好几遍，也有可能是我有点心不在焉吧，我承认最近确实有点不是很专心，总之现在学习的进度确实是变慢了，有可能是我在算法上花的时间太长了，现在作为一名初学者应该仅仅只要了解代码的大致意思即可，而不比深究公式的来源，所以今天关于adaboost算法仅仅只是理论方面的理解有深入了些，另外知晓了关于每个样本权重的计算方法，然后就卡在了单层决策树的构造那边了，尽管关于决策树算法之前学过但是，现在的元算法中的这个单层决策树我还是有些不解，算了，期待明天能完成吧！


做了个思维导图，大概了解了下我现在的进度，小圆圈里的绿色代表的掌握程度，数字代表优先等级


2019.1.4 雨
1，使用单层决策树分类函数构建了，单层决策树函数，核心思想：递归寻找最优阀值
2，利用adaboosting元算法整合单层决策树构建了一个强分类器，要点：a 通过更改权重向量D，改变弱分类器对于错误值的关注度；b 通过每个分类器的错误率求其对应的权重值α，α越高的分类器在最终的投票中对分类结果的影响也越大。 c Adaboosting算法是通过最后的类别累计估计值，来进行分类的。
总结：前面浪费了很多时间，估计明天能把元算法搞完。（在不深究理论的情况下）


为了装好pycharm搞到了现在，


2019.1.7 雨
1，用最小二乘法法构造线性回归模型
2，增加权重构造局部加权线性回归模型，参数k不能太大或太小，过大会欠拟合，过小则会过拟合，最终都会影响预测精度
3，如果数据中特征数多于样例数需要采用岭回归来构造模型，我们同样需要测试不同的λ值来寻找最佳参数。


2019.1.8 霾
1，岭回归与前向逐步回归，可以用来观察特征值的系数，以此削减特征值使得模型更简单
2，偏差，方差与复杂度，我们可以通过调节模型的复杂度来求得误差最小的预测值。
3，利用交叉验证法求得岭回归中最小误差所对应的系数。
总结：这一章讲的内容有点多，勉强算完成了，明天开始树回归，主要用于非线性模型，预计时间两天。


2019.1.9 雪
1，了解了树回归的基本原理，搭建了树回归的主函数。
总结：效率不高只完成了总工作量的5/13，明天还有8/13，得反省。。。


2019.1.10 阴
1，创建了树回归的算法，其与树模型不同在于其叶子节点处是该组数据的平均值，而树模型处是一个线性回归模型。
2，创建了树模型算法，其叶节点处是回归模型，所以可以更好地进行预测。
3，剪枝，树结构最大的问题就是会过拟合，所以我们创建了一个剪枝算法，用来合并树的多余子叶。
总结：树回归总体上就是通过树分类原理将数据点分为可以构建回归模型各个数据点组，在这些组上我们可以对原先非线性的数据进行建模。
终究树回归还是没有完全结束，剩余的明天补吧，我的时间终究还是没有被充分利用啊！


2019.1.12 阴
1，进行了树回归和树模型的比较，总体上来说树模型预测更准确。
2，了解了一种GUI框架tkinter，他可以用来创造一些图形用户界面。
3，利用tkinter和matplotlib共同集成了一个用于画图的GUI，用户只需要在文本框内输入参数值，GUI就能根据参数绘制出对应的图形，厉害。果然学无止境。
总结：今天树回归正式完结，监督学习算法暂时结束，明天开始无监督学习，k-均值聚类走起。


1.13 晴
1，了解无监督学习中聚类的基本概念。
2，学习了第一个聚类算法，k均值聚类算法，原理是通过计算数据集中的各点到随机生成的k个质心的距离，选择其中距离最小的质心并加入该簇。


1.14 阴
1，完成了二分k均值算法
2，构筑的地理信息聚类模型图有点问题。
明天开始apriori算法


1.16 多云
1，Aprior算法的单选项组的过滤与组合算法，完成，虽然原理简单，代码也就几行，但是理解起来是真的复杂。
2，APrior算法的关联规则算法的初步实现。
总结：算法的理解有点困难，期待明天能突破。


11.17 晴
1，完善了昨天的关联规则生成函数，其关键在于利用频繁项生成关联规则，然后过滤。
2，完成了aprior算法的实例，发现关联分析的应用范围很广，很灵活，居然可以用来发现有毒蘑菇的公共特征；我突然有了个大胆的想法，如果将关联分析用于心理测量，那岂不是，，，，
3，初步了解了FP-growth树，其比aprior运算速度更快，因为它只需要遍历两遍数据集，就可以构建FP树。
。。。晚上出去泡了个澡，好爽，回来都感觉自己变帅了，就是这也太贵了，居然15块钱，其它地方洗澡也这么贵吗？


吃饱饭，躺在床上晒太阳是真的舒服


1.18 晴
1，完成了FP树构建函数
2，基于fp树，挖掘元素项的条件模式基。
3，基于条件模式基，重复使用之前的FP树构建函数，构建条件FP树。
4，完成了总的函数，从fp树中挖掘频繁项
，，明天将两个实例完成下。。


扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频！
分享到: