回复：数据分析对统计学要求大吗？我看到假设检验和样本统计量估算总体

2.4-2.12
这段时间的学习效率不高，勉强开启了SQL的复习，kaggle竞赛题和数据挖掘的理论学习，综合前几天自己的状态实在太差，怀疑可能是没有每天写日志进行自省，所以先来回顾下，已经完成的工作：
1，机器学习传统算法入门
2，SQL语言已经熟悉
3，数据分析的流程大致了解
4，爬虫已有基础知识
已经开始未完成的工作：
1，机器学习算法理论学习
2，SQL语言复习
3，kaggle竞赛训练
未开始的工作：
1， 爬虫的复习。
。。。。综合比较下，现阶段我的学习是机器学习理论，SQL复习，和kaggle训练一起进行的，主要是考虑到我的一天精力大致可以分三个阶段所以也将时间拆分为三个阶段来进行。
在现今主要面临的问题：
1，自己太过懒惰，意志力不够坚定。
2，《数据挖掘概念与技术》这本书语言有些晦涩，而且书本太厚，可能学习时间不够。
3，kaggle训练，主要是语言的问题，自己的英语太差导致不太能玩的转。
解决方案：
1，未知
2，以蓝皮书为主跳过一部分章节直接开始算法学习。
3，先把手头的题目做完，以后转向天池竞赛。

2.15 雨
房价分析的基本步骤：
1，比较自变量与因变量之间的关系，并计算出他们的相关系数。
2，根据相关系数可以得到有一些变量是与房价关系密切，对这些变量和房价进行可视化。
3，根据可视化图删除一些异常值
4，做房价的分布图线，发现其并不满足正态分布，对其进行对数变换，使其满足正态分布。（尽管我不明白为什么要让其满足正态分布）
5，做各个变量之间相关系数的热图，发现各变量具有多重共线性，对特征变量进行box―cox变换使其更加满足正态分布。
6，开始数据预处理填补空缺值。
应用skllearn，，，未完待续

2.16 阴
模型的选择与评估：
1，通过错误率和精度
2，基于查准率查全率调和平均度量
3，计算ROC曲线的面积AUC
4，代价敏感错误率
总结：明天的学习不应该太过关注公式，深入理解概念是主要目标。
a，明日将模型的评估与选择完结，并完成线性回归的学习。【必须完成！！！】
b，房价预测完成学习并总结方法。《。。》
c，SQL第六章。（？？）

2.17 晴
1，模型评估法：异类模型评估法（假设检验）
2，方差偏差窘境
3，线性模型：最小二乘法，对数几率回归，线性判别分析，
4，对分类学习：ovo，mvm，ovr
5，解决类别不平衡问题：再缩放，欠采样，过采样。
明日计划：1，房价预测【必须完成】
2，第四章，决策树

加油，坚持。

鲁鲁修居然还活着。。。

19.2.18 雨
房价预测：这是一个根据2017年房价预测来预测未来几个月房价的题目。既然是预测那首选的模型肯定是回归，我们首先对目标变量也就是房价进行了可视化然后发现房价的图像分布曲线并不光滑，QQ图也显示房价曲线不满足正态分布，而箱型图显示房价数据存在异常值。
为了使房价曲线更光滑使其符合正态分布我们对其进行了对数转化。之后我们又计算了目标变量房价与其它特征值之间的相关系数，显示房子大小与房价的关系最为密切，于是我们做了房价与房屋面积的散点图，显示这两个变量呈现很明显的正相关关系，但是在图线最右端有些点离中心太远，推测其为异常值，于是我们把在一定范围外的数据点全部归为异常值并对其进行了删除。之后再对房价进行可视化处理，明显曲线变得更为光滑且符合正态分布了。
基因线性回归模型的三个基本假设（序列相关性，多重共线性，异方差性），我们已经通过相关系数证实房价与房屋面积之间呈现序列相关，接下来就多重共线性和异方差性展开分析，所谓多重共线性指数据点的特征变量之间相关系数过高，于是我们做出了数据集各特征之间相关系数的热图，最终发现了本数据集特征变量之间具有很高的相关性，解决此问题的办法是针对相关系数过高的特征变量进行cox-box转化。
然后开始了数据的清洗和转化，具体包括填充空值和转化离散型变量，最后自然是通过sklearn库选择合适的回归模型训练数据集然后进行预测了，但是就算是线性模型也有普通线性回归，岭回归，前向逐步回归，我们还得需要不断地训练调节参数选出可以得到最佳性能的人线性回归模型才可以。

2.20 雨
将房价预测自己手动弄了一遍，还差一点没弄完，明天搞完后第一个项目就有了。

2.21 多云转雨
房价预测总结：这是一个典型的特征工程类的题目，要想要自己的模型取得一个不错的结果就得花大量的时间在特征的处理之上；在本次练习中我花了大量的时间在思考异方差性，多重共线性等原理上的东西，而在之后的特征值填充，模型选择等问题上花的时间并不多，嗯，也不知道算不算失策。
日后提升方法，本次练习我共采用了普通线性回归模型和岭回归模型两种模型，后者效果优于前者，想要再进一步提升效果可以试试随机森林和lassao法，以及基因随机森林的集成法。

加油！楼楼现在上班还是上学？

2.23 晴
嗯，今天我哥哥结婚，吃得好饱，不过自己也被催婚了，所以我决定下次把电子秤带过去准备减肥了。
决策树ID3算法，通过计算各个属性的信息增益来确定划分的属性，是一种贪心算法，会尽可能多地生成枝叶，因此会导致过拟合；解决方案是通过剪枝技术来去除多余枝叶，剪枝又分预剪枝和后剪枝，都是通过比较枝叶合并前后决策树的泛化性能来决定是否需要剪枝。
分类回归树CART算法，通过计算基尼指数来确定数据集的划分属性，进而进行二叉树划分，再在划分后决策树的叶子节点上构建线性模型，是一个既可以用于分类又可以用于回归的算法。
连续值处理，将连续值进行排序，选择其中一点作为划分点从而计算其信息增益，最终得出其最大信息增益所对应的划分点，此方法被用作C4.5算法。
缺失值处理，通过计算不含缺失值版本的信息增益，然后乘以权重从而得到完全版本的信息增益。
多变量决策树，通过在坐标空间中寻找不同样本之间的分类边界来进行分类。

祝哥哥嫂子新婚快乐，百年好合。

真的很佩服，贵在坚持，这么久了，看看你都学了这么多了，我还在不喜欢的机械岗位上苦苦煎熬，行动就会有变化，加油

2018.2.25 晴
1，神经网络算法与深度学习初步了解
2，SQL之谓语和各类函数。

2.26 晴转雨
1，支持向量机，核函数，支持向量回归。
2，SQL中exists方法不太熟练，SQL加减法（union，except，intersect），联接（join）