我终于快把这本书看完了！！！开心！
前面学习到的算法都属于监督学习，数据都会自带标签，而接下来我们会转向无监督学习，目标变量事先不存在，无监督学习在现实生活中应用更为广泛。首先就是聚类和K-Means算法。
这一部分可以看看吴恩达的视频，感觉讲的挺清楚的，当然这本书也不错。
聚类是将相似的对象归到同一簇中，簇内的对象越相似聚类的效果越好。聚类和分类最大的不同是：分类的目标事先已经知道，但聚类不一样。聚类分析试图将相似对象归入同一簇，不相似的对象归入不同的簇，而是否相似则取决于相似度的计算方法。
K-Means是聚类算法的一种，可以发现K个不同的簇，每个簇的中心采用簇中算含数值的均值计算而成。
（1）K-Means聚类方法
K-Means的算法思想如下：
随机选择K个点作为起始质心
当任意一个点的簇分配结果改变时：
对数据集中的每个数据点：
对每个质心：
计算质心与数据点之间的距离
将数据点分配到距离其最近的簇
对每一个簇，计算簇中所有点的均值并将其作为质心
这里的距离计算方法选择欧式距离
K-Means实现起来首先需要一些辅助函数，具体代码如下：
from numpy import *
def loadDataSet(fileName): #general function to parse tab -delimited floats
dataMat = [] #assume last column is target value
fr = open(fileName)
for line in fr.readlines():
curLine = line.strip().split('\t')
fltLine = list(map(float,curLine)) #map all elements to float()
'''原书用的是python2,python2的map返回的是list
而python3返回的是iterations，所以要在前面加上list'''
dataMat.append(fltLine)
return dataMat
def distEclud(vecA, vecB):
# 计算两个向量的欧氏距离
return sqrt(sum(power(vecA - vecB, 2))) # la.norm(vecA-vecB)
def randCent(dataSet, k):
# 为给定数据集构造一个包含k个随机质心的集合
n = shape(dataSet)[1]
centroids = mat(zeros((k,n))) # create centroid mat
for j in range(n): # create random cluster centers, within bounds of each dimension
minJ = min(dataSet[:,j])
rangeJ = float(max(dataSet[:,j]) - minJ)
centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))
return centroids
三个函数的具体作用已经在注释中写出，经过测试都是可用的。
K-Means实现的具体代码如下：
def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent):
# 输入的参数分别为：数据集，簇的数目，计算距离和创建初始质心的函数
m = shape(dataSet)[0] # 确定数据集中数据总数目
clusterAssment = mat(zeros((m,2))) # 创建一个矩阵来存储每个点的簇分配结果
# clusterAssment包含两列：一列记录簇索引值，一列存储误差
centroids = createCent(dataSet, k)
clusterChanged = True
while clusterChanged:
clusterChanged = False
for i in range(m):#for each data point assign it to the closest centroid
minDist = inf; minIndex = -1
# 寻找最近的质心
for j in range(k):
distJI = distMeas(centroids[j,:],dataSet[i,:])
if distJI < minDist:
minDist = distJI; minIndex = j
if clusterAssment[i,0] != minIndex: clusterChanged = True
clusterAssment[i,:] = minIndex,minDist**2
# print(centroids)
# 更新质心的位置
for cent in range(k):#recalculate centroids
ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]] # 通过数组过滤得到给定簇的所有点
centroids[cent,:] = mean(ptsInClust, axis=0) # 计算所有点的均值
return centroids, clusterAssment
上图为测试K-Means的结果截图，数据集是给定的，规定了划分4个簇，可以看到一共迭代了四次后退出循环的，每次的结果有四组数值，代表四个簇的质心。