k-近邻算法 （KNN）

k-近邻算法采用测量不同特征值之间的距离的方法来进行分类。

 

将测试数据的每个特征与样本集中的数据对应的特征进行比较， 然后算法提取样本集中特征最相似的数据（最近邻）的分类标签。最后，选择k个相似数据中出现最多次的分类，作为新数据的分类。

 

可以看出，这个算法的重点便是选择合适距离算法来计算测试数据与样本数据之间的距离。

 

常见的距离算法诸如：编辑距离算法，欧式距离算法，ngram算法等等，根据实际的应用场景来决定。

 

优点： 精度高，对异常值不敏感， 无数据输入假定。 

缺点：计算复杂度高，空间复杂度高。要和整个样本集中的所有数据进行比较和计算。 样本不平衡问题。

适用数据范围： 数值型和标称型

 

常见的使用案例： 手写识别

将手写的图像转化为二维矩阵，有墨迹的地方就是1，空白的地方就是0。然后比较矩阵之间的距离，来猜测出可能的文字。

 

在设计代码的时候，可以考虑创建可计算接口（Calculatable）， 然后让需要计算的对象实现该接口，以达到算法的通用性目的。

    public interface Calculatable<T> {
        public Number calculate(T obj);
    }