数据分析吧 关注：46,619贴子：583,978
本性
今天算是完成了一个数据分析的实例；将昨天和今天的内容加起来，大概过程是这样的。首先从网站上获取了json格式的数据，然后我对其进行了一些处理，将json格式转变为了Python格式，并储存到了列表之中；再之后我利用了pandas包将列表内的json信息转变为了dataframe格式信息；再对dataframe进行分析后，我对其中的“tz”列也就是时区字段进行了一些处理，然后绘制了关于时区的直方图；再之后我对其a列进行观察，发现其是用户的信息，经过简单的一些操作后，我将其简单地分为了Windows用户和非Windows用户，并按照时区和用户类别对其进行了分组，然后我并利用argsort（）方法筛选出了其中用户人数最多的时区，老实说argsort方法挺难理解的；最后利用了seaborn包画出了关于不同时区里Windows用户和非Windows用户信息的直方图。
对比于昨天，今天的学习效率虽然依旧不高，但总算有进步，另外今天难得地白天没有下雨，我出去散了会步，围着湿地公园走了一圈，遇见了一个疑似偷鸡的人，还带着他的小孩真是鬼鬼祟祟，另外这附近还有一栋莫名其妙的建筑，看起来像是厕所，走近看感觉更像是牢房，真是奇怪。
对比于昨天，今天的学习效率虽然依旧不高，但总算有进步，另外今天难得地白天没有下雨，我出去散了会步，围着湿地公园走了一圈，遇见了一个疑似偷鸡的人，还带着他的小孩真是鬼鬼祟祟，另外这附近还有一栋莫名其妙的建筑，看起来像是厕所，走近看感觉更像是牢房，真是奇怪。
今天起的是挺早的，可惜干的活不多，上午将昨天那个时区计数的实例又做了一遍，中途还是出现了一些失误，看来我的语法还是不熟吧，中午用电饭煲煮了面条里面加了青菜还有火腿肠感觉还挺好吃的。然后下午做了一个新的例子，关于分析一个关于电影评分的数据。这一次我费尽心机总算成了github的用户，并且还发现手机用usb连线可以分享热点给电脑，网速快的一批。。哦，扯远了，下载完数据之后，老样子读取数据写入表格，然后由于是三张表格，所以需要用merge方法将三张表拼接成一张；之后嘛再从中做出一个数据透视表，可以看出男女对不同电影的评分情况；由于这是原始数据自然需要清洗，所以我们就用groupby方法把那些评分数量不足250的电影给去掉了，用了我以前不屑一顾的loc（index）方法。
后来嘛，我们需要得出哪些电影比较有争议，书上介绍了两种方法，其一：由男的评分减去女的评分从而得出了一个新的数列，通过此数列可以知道哪些电影是男女评价差异很大的，之后嘛就简单了。
方法二：通过计算方差标准差来得出哪些评分的波动大，最后通过标准差的大小来了解评分的波动。
最近听说有什么kaggle竞赛，如果缺项目经验的话可以去试试，攒一攒项目经验，我准备明天就来看一看机器学习了，把里面的代码过一遍后就去搞几个kaggle竞赛题来做做，攒一攒经验。
后来嘛，我们需要得出哪些电影比较有争议，书上介绍了两种方法，其一：由男的评分减去女的评分从而得出了一个新的数列，通过此数列可以知道哪些电影是男女评价差异很大的，之后嘛就简单了。
方法二：通过计算方差标准差来得出哪些评分的波动大，最后通过标准差的大小来了解评分的波动。
最近听说有什么kaggle竞赛，如果缺项目经验的话可以去试试，攒一攒项目经验，我准备明天就来看一看机器学习了，把里面的代码过一遍后就去搞几个kaggle竞赛题来做做，攒一攒经验。
2018.12.8 阴
本以为会下雪的，结果等了一天都没有，估计晚上会下吧！
昨天的那个数据分析实例确实够难的，今天我把里面的某些细节问题搞清楚后，然后就开始捋思路了，这是一个很明显的探索性分析，作者一开始拿到数据经过清洗和拼接后弄过来的是一个过万条的dataframe；然后经过一系列的骚操作，中途会得出某些结论，然后再来验证结论，再基于结论推导数据最后会得到某种我们意想不到信息。当然作者没搞那么多事情，他只是不停的做着数据透视表，不断地画着图然后又会从图中找信息；虽然我是只能看出粗浅的东西，这或许就是经验的差距吧！我一直想搞清楚作者做的这些操作其背后的指导思想是什么，因为自始至终我都不太清楚他是怎么提取那些数据，他为什么会知道第一步是提取其中的birth，year和sex来做透视表，好吧或许总共就四列没得选吧。总之前一段作者的分析就是：清洗处理数据>可视化并提出猜想>验证猜想>得出结论>？分析结论产生的原因。。。这就是其基本的步骤了。
当然在我独自做这些实例的过程中也产生了很多的问题，比如为什么apply（）可以进行函数操作，直接在dataframegroup上进行操作就不行，还有利用matplotlib画图时谁是因变量，谁是自变量这些我以前都没有注意过，现在问题全部都涌出来了，看来我的基础是真的不牢，不过还好，问题总是会越来越少的，尽管有些问题我不知道它产生的原因，但既然出现了那么以后就及力避免吧。
这一次的实例较之于以往确实难一点，主要是其分析的思想步骤并非一开始就目标明确，就像解答题目，有问题才能有答案，而数据分析一开始却是没有问题，他是让我们去提出问题并得到结论，这实在是考验人们对于数据的敏感度，对于业务的熟悉程度；另外嘛，则是我的基础问题，虽然关于数据分析大部分的操作我已经掌握了，但我毕竟没有达到精通的地步，这就导致了我在第二次做这些实例时仍然出错，总之，时间不多了，要加油哇⊙ω⊙
本以为会下雪的，结果等了一天都没有，估计晚上会下吧！
昨天的那个数据分析实例确实够难的，今天我把里面的某些细节问题搞清楚后，然后就开始捋思路了，这是一个很明显的探索性分析，作者一开始拿到数据经过清洗和拼接后弄过来的是一个过万条的dataframe；然后经过一系列的骚操作，中途会得出某些结论，然后再来验证结论，再基于结论推导数据最后会得到某种我们意想不到信息。当然作者没搞那么多事情，他只是不停的做着数据透视表，不断地画着图然后又会从图中找信息；虽然我是只能看出粗浅的东西，这或许就是经验的差距吧！我一直想搞清楚作者做的这些操作其背后的指导思想是什么，因为自始至终我都不太清楚他是怎么提取那些数据，他为什么会知道第一步是提取其中的birth，year和sex来做透视表，好吧或许总共就四列没得选吧。总之前一段作者的分析就是：清洗处理数据>可视化并提出猜想>验证猜想>得出结论>？分析结论产生的原因。。。这就是其基本的步骤了。
当然在我独自做这些实例的过程中也产生了很多的问题，比如为什么apply（）可以进行函数操作，直接在dataframegroup上进行操作就不行，还有利用matplotlib画图时谁是因变量，谁是自变量这些我以前都没有注意过，现在问题全部都涌出来了，看来我的基础是真的不牢，不过还好，问题总是会越来越少的，尽管有些问题我不知道它产生的原因，但既然出现了那么以后就及力避免吧。
这一次的实例较之于以往确实难一点，主要是其分析的思想步骤并非一开始就目标明确，就像解答题目，有问题才能有答案，而数据分析一开始却是没有问题，他是让我们去提出问题并得到结论，这实在是考验人们对于数据的敏感度，对于业务的熟悉程度；另外嘛，则是我的基础问题，虽然关于数据分析大部分的操作我已经掌握了，但我毕竟没有达到精通的地步，这就导致了我在第二次做这些实例时仍然出错，总之，时间不多了，要加油哇⊙ω⊙
18.12.10 雨
天气越来越冷，我起得也越来越晚了。。唉，自制力不够用啊！
上午我看了机器学习的第一章，大概了解了下什么是机器学习，以及机器学习算法的主要工作过程，还有如何选择算法，开发机器学习程序的大体步骤。下午还是老样子做了一个机器学习的例子，今天这个例子不算难，主要是利用json.load和json.loads的区别花了我一些功夫，后续的步骤基本还是用的以前的知识，另外关于拼接两个dataframe有点繁琐，最后嘛由于数据量太大在进行某些运算时，电脑运行地贼慢，看来有机会得去学习下分布式计算了，这才真正涉及到大数据的知识吧，不过因为网上的招聘需求没太多涉及这个所以一直到现在我都没有正式学习spark，hadoop等大数据技术。额，算了，有点好高骛远了，先把Excel，SQL，Python和机器学习和可视化搞好了再说吧，想地太多不好。
明天就要开始k―近邻算法的学习了，加油。
天气越来越冷，我起得也越来越晚了。。唉，自制力不够用啊！
上午我看了机器学习的第一章，大概了解了下什么是机器学习，以及机器学习算法的主要工作过程，还有如何选择算法，开发机器学习程序的大体步骤。下午还是老样子做了一个机器学习的例子，今天这个例子不算难，主要是利用json.load和json.loads的区别花了我一些功夫，后续的步骤基本还是用的以前的知识，另外关于拼接两个dataframe有点繁琐，最后嘛由于数据量太大在进行某些运算时，电脑运行地贼慢，看来有机会得去学习下分布式计算了，这才真正涉及到大数据的知识吧，不过因为网上的招聘需求没太多涉及这个所以一直到现在我都没有正式学习spark，hadoop等大数据技术。额，算了，有点好高骛远了，先把Excel，SQL，Python和机器学习和可视化搞好了再说吧，想地太多不好。
明天就要开始k―近邻算法的学习了，加油。
12.11 阴
今天很冷ಥ_ಥ，虽然今天学的k近邻算法不算难，其原理就是让我们计算输入数据与样本数据之间的距离并排序，再选出前k个与输入数据最相似的样本数据，在这k个样本数据之中，每一个都有一个分类标签，我们只需要汇总他们的标签，选出统计次数最多的标签即为输入数据的分类。
怎么样，确实不难吧，然而就这**的算法我搞了一天，因为执行这个算法的程序不是很容易理解，我是将其中的每一步都拆分出来单独执行后才看懂那短短的几行代码的，其中出现的tile（），argsort（），dict.get（），sorted（dict，key=），他们的用法我都不是很了解，所以进度不是很快，按照计划今天是可以把这一章全部看完的，现在还剩余两个实例，约会网站算法改进和手写文字识别没弄，算了，明天再弄吧，机器学习实战这本书看来不是短时间可以弄完的了，毕竟现在还只是用代码实现算法，对于推导公式，算法原理这些都没有过多涉及，所以要想完全理解这些算法，《概率论》《线性代数》，《高数》
得补一补了，我的天，
今天很冷ಥ_ಥ，虽然今天学的k近邻算法不算难，其原理就是让我们计算输入数据与样本数据之间的距离并排序，再选出前k个与输入数据最相似的样本数据，在这k个样本数据之中，每一个都有一个分类标签，我们只需要汇总他们的标签，选出统计次数最多的标签即为输入数据的分类。
怎么样，确实不难吧，然而就这**的算法我搞了一天，因为执行这个算法的程序不是很容易理解，我是将其中的每一步都拆分出来单独执行后才看懂那短短的几行代码的，其中出现的tile（），argsort（），dict.get（），sorted（dict，key=），他们的用法我都不是很了解，所以进度不是很快，按照计划今天是可以把这一章全部看完的，现在还剩余两个实例，约会网站算法改进和手写文字识别没弄，算了，明天再弄吧，机器学习实战这本书看来不是短时间可以弄完的了，毕竟现在还只是用代码实现算法，对于推导公式，算法原理这些都没有过多涉及，所以要想完全理解这些算法，《概率论》《线性代数》，《高数》
得补一补了，我的天，
12.12 晴
完成了昨天未完成的两个实例，也就是照着书敲了遍代码，将里面代码的含义弄懂了，总体说来k近邻算法分类器的部分昨天已经弄完了，而今天的测试算法仅仅只是运用了昨天编写的分类器还有清洗数值的程序，不是太难；另外今天的手写数字识别系统的输入数据的文件格式只是txt格式，我只是将其从32*32的格式转换为了1*1024的的一维数组格式然后将其输入分类器与训练数据相互比较，得出其分类，总体而言也不难理解，虽然都能看懂这两个实例的代码，但是如果真让我自己弄我还真不会，有点桑心。
然后嘛，今天的难点主要在晚上，不知道是不是没吃饱的缘故，感觉有点提不起劲，关于决策树的原理很容易理解，但其实现则相当复杂，我刚刚进展到第一节如何选取特征量上就出现了很多新名字，信息的定义，信息的期望值（熵），信息增益等等，我瞬间回忆起大一被高数所折磨的恐惧；还有关于信息的定义和信息期望值的计算方法，我完全不懂的好不好，不过也没办法了，只能发扬当年学高数的原则“这些公式我们不需要知道是怎么来的，只要知道怎么用就好了。”用，其实还是挺简单的，用代码实现也不算难，目前已经知道我们计算出来的信息期望值（熵）越高，则数据集的混乱度就越大，而我们只需要从中找到其信息增益最大的特征值作为其分类指标就行了，哈哈，简单吧！，其实我还是不太懂的，没办法，这些定理记住就好了。。。
说起来“熵”我一开始还以为它读“di”呢😊
另外分享一个数据分析师的技能树，加油
完成了昨天未完成的两个实例，也就是照着书敲了遍代码，将里面代码的含义弄懂了，总体说来k近邻算法分类器的部分昨天已经弄完了，而今天的测试算法仅仅只是运用了昨天编写的分类器还有清洗数值的程序，不是太难；另外今天的手写数字识别系统的输入数据的文件格式只是txt格式，我只是将其从32*32的格式转换为了1*1024的的一维数组格式然后将其输入分类器与训练数据相互比较，得出其分类，总体而言也不难理解，虽然都能看懂这两个实例的代码，但是如果真让我自己弄我还真不会，有点桑心。
然后嘛，今天的难点主要在晚上，不知道是不是没吃饱的缘故，感觉有点提不起劲，关于决策树的原理很容易理解，但其实现则相当复杂，我刚刚进展到第一节如何选取特征量上就出现了很多新名字，信息的定义，信息的期望值（熵），信息增益等等，我瞬间回忆起大一被高数所折磨的恐惧；还有关于信息的定义和信息期望值的计算方法，我完全不懂的好不好，不过也没办法了，只能发扬当年学高数的原则“这些公式我们不需要知道是怎么来的，只要知道怎么用就好了。”用，其实还是挺简单的，用代码实现也不算难，目前已经知道我们计算出来的信息期望值（熵）越高，则数据集的混乱度就越大，而我们只需要从中找到其信息增益最大的特征值作为其分类指标就行了，哈哈，简单吧！，其实我还是不太懂的，没办法，这些定理记住就好了。。。
说起来“熵”我一开始还以为它读“di”呢😊
另外分享一个数据分析师的技能树，加油
12.13 晴
决策树算法的原理简单，但执行却很麻烦，今天只是将其算法用代码实现成字典的格式就花去了好长的时间。
我们首先要写一个按不同特征值划分数据的函数splitDataSet，还有一个寻找最佳分类特征的函数chooseBestFeatureToSplit；最后才编写创建树函数createtree，在createtree函数中，我们首先会判断数据集是否处于同一分类，如果是则返回类标签，不是则继续下一步用choosebestfeaturetosplit函数寻找划分数据集的最佳特征，再划分数据集，然后再调用createtree函数判断其是否划分完毕；最终我们会得到一个包含着多重字典的字典格式，这就是决策树算法了，但这样的格式不利于理解，所以我们还要将他绘制成树形图，只是Python中matplotlib无法直接绘制树形图，得利用其中的注释工具annotations，操作相当麻烦，明天再说吧！
难得晴天晚上去买了火锅料回来煮，晚上吃的有点多了，感觉要又要变胖了，唉╯﹏╰
进度有点慢哪
决策树算法的原理简单，但执行却很麻烦，今天只是将其算法用代码实现成字典的格式就花去了好长的时间。
我们首先要写一个按不同特征值划分数据的函数splitDataSet，还有一个寻找最佳分类特征的函数chooseBestFeatureToSplit；最后才编写创建树函数createtree，在createtree函数中，我们首先会判断数据集是否处于同一分类，如果是则返回类标签，不是则继续下一步用choosebestfeaturetosplit函数寻找划分数据集的最佳特征，再划分数据集，然后再调用createtree函数判断其是否划分完毕；最终我们会得到一个包含着多重字典的字典格式，这就是决策树算法了，但这样的格式不利于理解，所以我们还要将他绘制成树形图，只是Python中matplotlib无法直接绘制树形图，得利用其中的注释工具annotations，操作相当麻烦，明天再说吧！
难得晴天晚上去买了火锅料回来煮，晚上吃的有点多了，感觉要又要变胖了，唉╯﹏╰
进度有点慢哪
