我们会利用计算机来彰显数据背后的真实含义，这才是机器学
习的真实含义。它既不是只会徒然模仿的机器人，也不是具有人类感情的仿生人

现在很多公司便用机器学习软件改善商业
决策、提高生产率、检测疾病、预测天气

除却一些无关紧要的情况，人们很难直接从原始数据本身获得所需信息
简单地说，机器
学习就是把无序的数据转换成有用的信息

分类和回归属于监督学习，之所以称
之为监督学习，是因为这类算法必须知道预测什么，即目标变量的分类信息

与监督学习相对应的是无监督学习，此时数据没有类别信息，也不会给定目标值。在无监督
学习中，将数据集合分成由类似的对象组成的多个类的过程被称为聚类；将寻找描述数据统计值
的过程称之为密度估计。此外，无监督学习还可以减少数据特征的维度，以便我们可以使用二维
或三维图形更加直观地展示数据信息

本书讲解的第一个机器学习算法是& 近邻算法（_ ) , 它的工作原理是：存在一个样本数
据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据
与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的
特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们
只选择样本数据集中前&个最相似的数据，这就是&-近邻算法中&的出处,通常*是不大于20的整数。
最后，选择&个最相似数据中出现次数最多的分类，作为新数据的分类。
现在我们回到前面电影分类的例子，使用&-近邻算法分类爱情片和1动作片。有人曾经统计过
很多电影的打斗镜头和接吻镜头

&-近邻算法可以完成很多分类任务，但是它最大的缺点就是无法给出数据的内
在含义，决策树的主要优势就在于数据形式非常容易理解

如果该图中的整个数据使用6个浮点数3)来表示，并且计算类别概
率的?"1«^代码只有两行，那么你会更倾向于使用下面哪种方法来对该数据点进行分类？
(1)使用第1章的_ ，进行1000次距离计算；
(2)使用第2章的决策树，分别沿^轴、^轴划分数据；
(3)计算数据点属于每个类别的概率，并进行比较。
使用决策树不会非常成功；而和简单的概率计算相比，_ 的计算量太大。因此，对于上述
问题，最佳选择是使用刚才提到的概率比较方法。

easy_install和pip都是用来下载安装Python一个公共资源库PyPI的相关资源包的
首先安装easy_install
下载地址:https://pypi.python.org/pypi/ez_setup
解压,安装.
python ez_setup.py
安装好easy_install 之后 再安装pip
下载地址:https://pypi.python.org/pypi/pip
解压,安装.
python setup.py install
上面是工具的安装 安装之后可以用他们安装别的东西 很方便
pip install -U scikit-learn
pip install -U numpy
pip install -U scipy
pip install -U matplotlib

http://blog.chinaunix.net/uid-12014716-id-3859827.html
python windows环境下安装pip

这种根据偏差的平方和为最小条件来选择参数的方法叫最小二乘法

决策树普及
http://m.blog.csdn.net/article/details?id=44726921

1. 准确率 Accuray
判断对的占比 tp+tn/tp+fp+tn+fn
2. 错误率Error rate
1 - Accuary
3. 精确性，也称精度， 简称就是P
TP / TP + FP 预测为正的里面有多少真的是正
4. 召回率， 简称就是R
TP / TP + FN 本应该预测为正的里面有多少被判断为了正，侧面能反映漏诊率
5. F1-measure
2PR / P+R

过拟合是指为了让训练集精度更高，学到了很多”仅在训练集上成立的规律“