回复：数据分析对统计学要求大吗？我看到假设检验和样本统计量估算总体

1.19 阴
1，昨天FP树的应用实例看完了，可惜数据集太大，我的电脑跑不动，
2，PCA降维技术初步了解，概念很简单，只是通过选取数据集的差异最大方向，作为其新坐标轴的方向，然后再将数据集映射到新坐标系中，实现对数据的降维处理。。实现起来也不难，代码也都能看的懂。。。。但很可惜，实现方式是通过计算协方差矩阵的特征值和特征向量来选取前n个特征向量作为对原数据集的转置矩阵的，这个数学原理，我就不懂了，很尴尬（︶︿︶）=凸

昨晚熬夜看完了狗13，今天来写点感悟。
狗十三，全程很压抑，不知道是不是导演有意为之，整个电影之中关于亲情的温暖的描写不可谓不多，然而这个电影带给我的感觉却是描写的亲情越温暖，之后给人的感觉却也越冰冷。这不得不让人反思起一个问题，关于家庭教育，在全篇中出现最多的一句话是，“你要懂事啊！”，在影片中正是这种懂事促使了李玩的成长，但也正是这样她变得越来越冷静，嗯怎么说呢，总之她的笑容越来越少，也越来越愿意为了大人而委屈自己了。我觉得这样的话不能说是“懂事”教育的成功，所谓得懂事，应该是孩子自动地站在大人的角度看待问题，体谅大人的困境烦恼，进而改变自己行为的过程，而在影片中李玩却感觉是被懂事这句话给绑架了，她在长大的过程中只是变得越来越委屈自己，压抑自己的需求。。当然这也不能说是中国教育的失败，我们的教育并不是把孩子塑造成他们他们最适合的形状，而是把他们变成社会需要的样子，从这点来看，教育很成功。
当然影片中关于家庭教育还有种种现象，比如体罚、不遵守承诺等等，站在我这个看片人的角度我能够理解父母的选择，也能够感受到孩子的无奈，这其实是个矛盾点，关于如何处理父母的处境与孩子的需求，这是个需要长期探讨的问题。。。。。所以，养小孩好麻烦，我还是不要结婚生孩子吧。
最后再说一下关于成长的理解，影片中李玩的成长是一个不断忍耐，不断压抑自己需求，将自己变得更懂事的过程；而我所理解的成长是一个不断被打上各种烙印最后融汇成自己独有的烙印的过程。在我们成长的过程中会接受来自家庭，学校社会各方面的烙印，这些烙印有好有坏对我们有利有弊，而我们长大的过程就是将这些烙印不断地改造不断地融合，最后形成一个自己独有的烙印的过程，当然有很多孩子没有完成对这些烙印的改造融合，所以他们活成了别人需要的样子，而没有变成自己想要的样子，当然在所有的烙印中家庭给予的烙印最大最深，一个孩子最后会变成什么样与家庭这块烙印有很大的关系，所以我们一定要重视家庭教育。

《人生智慧书》第三章 财产，人拥有什么
内容很杂，我就暂且记下这些有意思的话吧😊
1，如果从一个人得到的财富来衡量一个人的幸福，而忽略他期望得到的财富，就好比在给一个分数的时候只有分子没有分母，显然无用。
2，如果他视线所及的东西都是他的信心能够得到的，他就是幸福的；但是如果他想要获取的东西必须经历种种困难考验，他就很悲惨。
我的感想：幸福感=（我们拥有的/我们想要的）×困难系数。
3，“不满”这种感受的本源，是当我们无力提升能够满足自己的物质水平的时候，还在不断地提高我们的欲望和要求。
4，钱，绝对的好东西，因为它不像药品食物只是固定地满足一项特定的需求；它是一项可以满足一切的抽象事物。
5，那些经历贫困窘迫的人不太会害怕贫穷，所以相比起那些只是听说过贫穷的人来说，这些人花钱都通常会相对大手大脚。而那些生下来就养尊处优，家庭背景很好的人，他们一般会担心未来，所以比那些一夜暴富的人更勤俭节约。
6，因为富贵之人将钱看作必需品，不能少，而穷人则把钱看作额外的礼物可以随意享用和挥霍。
7，贫困女人出嫁时往往会提出很高的要求，也更奢侈浪费；伴随着富裕的女孩子不仅拥有财富，还有比贫困女孩更强烈的人保护财富的愿望。“无论谁要结婚，只要他和一个贫穷女孩子在一起，我都会建议他不要把本金留给女孩。”〖这是书里这么写的，颠覆我的常识〗
总结： 这一章探讨了作者关于财富和金钱的看法，首先他肯定了钱的重要性，毕竟有了钱就有了自由嘛（可以在不用工作的情况下养活自己完美支配自己时间的自由），其次例举了两类人穷人和富人对待金钱的态度，这与我常识相反，真是奇怪；最后嘛，额，我没看懂。
总之，钱很重要，不要乱花，另外幸福感与你的愿望息息相关，不要想太多你得不到的东西，记得这个公式：幸福感=（我们拥有的/我们想要的）×困难系数。。虽然不知道对不对。

在夕阳下煮火锅

1.20 晴
1，完成了PCA主成分分析法的学习，我去查看了《机器学习》上面的公式，粗略地了解了其数学原理，虽然还不是很懂，但并不影响理解；我们在利用协方差矩阵求出其特征值之后，会通过观察这些特征值的大小来确定哪些特征值需要舍弃，以此来决定最终新数据中我们的特征值。
2，了解了SVD奇异值分解法的原理，svd是一种矩阵分解技术，它能够将一个包含多个特征列的大矩阵转变成为U,Sigma,VT三个小矩阵，其中Sigma矩阵是一个只包含对角线元素的矩阵，其对角线元素即为我们要求的奇异值；每一个奇异值都代表了矩阵中的一个概念，我们通过筛选出能够保留矩阵90%能量值的N个特征值，来确定大矩阵最终的特征个数，以此来达到对矩阵降维的目的。
3，SVD有很多种应用，比如隐性语义搜索，推荐系统；所谓隐性语义搜索是通过从大量文本矩阵中构建出奇异值，得到某一个概念，这个概念就会映射出各种不同的同义词，，，当然我其实不是很懂。

😭😭管不住自己的嘴，上火还吃辣

1.21 晴
1，大概了解了hadoop技术，机器学习算法想要在大规模数据集上作用需要采用maprduce技术，不过迫于我目前的形式hadoop一类的大数据技术我现在暂时没有时间学习，目前主要是巩固复习SQL，还有关于机器学习的应用，时间有限。
2，推荐引擎尚未完工，预计明天能够完成。

1.24 晴
看了下sklearn库的操作，不太难，本应该今天一天就搞完的，然而我有点懒散，唉，感觉到了，自己正在堕落。
晚上把我很久以来想写的小说，开了个头，明天继续熟悉sklearn库的操作，并且由于网的问题，SQL的复习提前开始；嗯，不知道同时开展kaggle与SQL会不会有问题。。哦，希望我的小说不要卡壳，能够一直有灵感。

1.25 多云
1，skllearn入门了
2，kaggle第一个训练刚刚开始。
效率太低，自己太懈怠了最近

2.4-2.12
这段时间的学习效率不高，勉强开启了SQL的复习，kaggle竞赛题和数据挖掘的理论学习，综合前几天自己的状态实在太差，怀疑可能是没有每天写日志进行自省，所以先来回顾下，已经完成的工作：
1，机器学习传统算法入门
2，SQL语言已经熟悉
3，数据分析的流程大致了解
4，爬虫已有基础知识
已经开始未完成的工作：
1，机器学习算法理论学习
2，SQL语言复习
3，kaggle竞赛训练
未开始的工作：
1， 爬虫的复习。
。。。。综合比较下，现阶段我的学习是机器学习理论，SQL复习，和kaggle训练一起进行的，主要是考虑到我的一天精力大致可以分三个阶段所以也将时间拆分为三个阶段来进行。
在现今主要面临的问题：
1，自己太过懒惰，意志力不够坚定。
2，《数据挖掘概念与技术》这本书语言有些晦涩，而且书本太厚，可能学习时间不够。
3，kaggle训练，主要是语言的问题，自己的英语太差导致不太能玩的转。
解决方案：
1，未知
2，以蓝皮书为主跳过一部分章节直接开始算法学习。
3，先把手头的题目做完，以后转向天池竞赛。

2.15 雨
房价分析的基本步骤：
1，比较自变量与因变量之间的关系，并计算出他们的相关系数。
2，根据相关系数可以得到有一些变量是与房价关系密切，对这些变量和房价进行可视化。
3，根据可视化图删除一些异常值
4，做房价的分布图线，发现其并不满足正态分布，对其进行对数变换，使其满足正态分布。（尽管我不明白为什么要让其满足正态分布）
5，做各个变量之间相关系数的热图，发现各变量具有多重共线性，对特征变量进行box―cox变换使其更加满足正态分布。
6，开始数据预处理填补空缺值。
应用skllearn，，，未完待续

2.16 阴
模型的选择与评估：
1，通过错误率和精度
2，基于查准率查全率调和平均度量
3，计算ROC曲线的面积AUC
4，代价敏感错误率
总结：明天的学习不应该太过关注公式，深入理解概念是主要目标。
a，明日将模型的评估与选择完结，并完成线性回归的学习。【必须完成！！！】
b，房价预测完成学习并总结方法。《。。》
c，SQL第六章。（？？）

2.17 晴
1，模型评估法：异类模型评估法（假设检验）
2，方差偏差窘境
3，线性模型：最小二乘法，对数几率回归，线性判别分析，
4，对分类学习：ovo，mvm，ovr
5，解决类别不平衡问题：再缩放，欠采样，过采样。
明日计划：1，房价预测【必须完成】
2，第四章，决策树

鲁鲁修居然还活着。。。