Mahout 系列之----距离度量 -

thd52java

浏览: 72620 次
性别:
来自: 北京

最近访客更多访客>>

u012363178

wt_7628

liukp981

Char_CN

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

Mahout 系列之----距离度量

博客分类：

MAHOUT

机器学习 mahout

x = (x₁,...,x_n) 和y = (y₁,...,y_n) 之间的距离为

（1）欧氏距离 EuclideanDistanceMeasure

$d(x,y):=\sqrt{(x_1-y_1)^2 + (x_2-y_2)^2 + \cdots + (x_n-y_n)^2} = \sqrt{\sum_{i=1}^n (x_i-y_i)^2}$

（2）曼哈顿距离 ManhattanDistanceMeasure

$\left|x_1 - x_2\right| + \left|y_1 - y_2\right|.$

（3）马氏距离MahalanobisDistanceMeasure

马氏距离是由印度统计学家马哈拉诺比斯提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的（scale-invariant），即独立于测量尺度。对于一个均值为 $\mu = ( \mu_1, \mu_2, \mu_3, \dots , \mu_p )^T$ ，协方差矩阵为 $\Sigma$ 的多变量向量 $x = ( x_1, x_2, x_3, \dots, x_p )^T$ ，其马氏距离为

$D_M(x) = \sqrt{(x - \mu)^T \Sigma^{-1} (x-\mu)}$

马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为 $\Sigma$ 的随机变量 $\vec{x}$ 与 $\vec{y}$ 的差异程度：

$d(\vec{x},\vec{y})=\sqrt{(\vec{x}-\vec{y})^T\Sigma^{-1} (\vec{x}-\vec{y})}$

如果协方差矩阵为单位矩阵，马氏距离就简化为欧氏距离；如果协方差矩阵为对角阵，其也可称为正规化的欧氏距离。

$d(\vec{x},\vec{y})=\sqrt{\sum_{i=1}^p {(x_i - y_i)^2 \over \sigma_i^2}}$

其中 $\sigma_i$ 是 $x_i$ 的标准差。

（4）余弦距离 CosineDistanceMeasure

$\mathbf{a}\cdot\mathbf{b}=\left\|\mathbf{a}\right\|\left\|\mathbf{b}\right\|\cos\theta$

$\text{similarity} = \cos(\theta) = {A \cdot B \over \|A\| \|B\|} = \frac{ \sum\limits_{i=1}^{n}{A_i \times B_i} }{ \sqrt{\sum\limits_{i=1}^{n}{(A_i)^2}} \times \sqrt{\sum\limits_{i=1}^{n}{(B_i)^2}} }$

（5）汉明距离

在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。换句话说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。例如：

1011101 与1001001 之间的汉明距离是 2。

2143896 与2233796 之间的汉明距离是 3。

"toned" 与 "roses" 之间的汉明距离是 3。

（6）平方欧几里德距离度量 SquaredEuclideanDistanceMeasure

（7）Tanimoto距离 TanimotoDistanceMeasure

20130807155056

（8）加权距离度量 WeightedDistanceMeasure ，具体实现有：WeightedEuclideanDistanceMeasure和WeightedManhattanDistanceMeasure

用欧几里德距离和曼哈顿距离实现。加权距离度量是Mahout的高级特征，它能让你在不同维上赋予不同的权重，以此对距离度量信息产生影响，WeightedDistanceMeasure在向量格式化中需要序列化为文件。变量对距离的影响是不一样的，通过权值来确定。

（9）切比雪夫距离 ChebyshevDistanceMeasure

若二点p及q的直角坐标系坐标为 $(x_1,y_1)$ 及 $(x_2,y_2)$ ，则切比雪夫距离为

$D_{\rm Chess} = \max \left ( \left | x_2 - x_1 \right | , \left | y_2 - y_1 \right | \right ) .$

分享到：

mahout系列之-----相似度 | Mahout系列之----共轭梯度预处理

2013-11-09 14:43
浏览 1173
评论(0)
分类:互联网
查看更多

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

mahout-distribution-0.7-src.zip: 例如，可以通过修改或添加新的距离度量方法来优化聚类效果，或者调整推荐算法的参数以提升推荐准确率。总结，Apache Mahout 0.7是机器学习领域的重要资源，其源码提供了深入理解算法实现的机会。通过研究源码，...

Mahout in Action 英文版, 标准PDF格式非伪PDF: 接着介绍了几种常用的聚类方法及其原理，比如K-Means算法、层次聚类等，并探讨了如何选择合适的距离度量标准来衡量样本间的相似度。 ##### 2. 数据表示 (第8章) 为了更好地进行聚类分析，本章详细讨论了数据预处理...

系统聚类 java: 2. 选择合适的度量：聚类算法通常依赖于距离或相似度度量，如欧氏距离、余弦相似度等。选择合适的度量对聚类结果至关重要。 3. 算法性能优化：由于聚类可能涉及到大量数据的计算，因此，算法的效率和内存使用是需要...

cole_02_0507.pdf: cole_02_0507

工程硕士开题报告：无线传感器网络路由技术及能量优化LEACH协议研究: 内容概要：南京邮电大学工程硕士研究的无线传感器网络路由技术。通过对无线传感器网络路由协议的历史和研究现状进行了详细探讨，着重介绍了SPIN、LEACH、TEEN、pEGASIS等常见协议的特点、优势与局限性。文中分析了现有路由协议中的能量管理和网络覆盖问题，并提出了一种结合最大覆盖模型的改进型能量LEACH协议来应对这些问题。该研究旨在提高无线传感网络能量效率和覆盖效果，从而拓展其在各行业尤其是环境监测和军事安全领域的大规模应用。适合人群：本篇文章主要面向具有无线传感网路研究背景或对此有兴趣的研究人员、工程师和技术爱好者，特别是在能源消耗控制上有较高需求的应用开发者。使用场景及目标：①帮助理解和选择合适的无线传感器网络路由技术；②指导开发新路由协议时关注的关键要素；③为企业实施物联网相关项目提供理论支撑。其他说明：文章强调了优化算法对于改善系统性能的重要性，并展示了具体的实施方案。通过仿真实验对不同协议的效果进行了验证，体现了科学研究的严谨态度与实践导向。

【东海期货-2025研报】东海贵金属周度策略：金价高位回落，阶段性回调趋势初现.pdf: 【东海期货-2025研报】东海贵金属周度策略：金价高位回落，阶段性回调趋势初现.pdf

图像数据处理工具+数据(帮助用户快速划分数据集并增强图像数据集。通过自动化数据处理流程，简化了深度学习项目的数据准备工作): 【资源介绍】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，也可以作为小白实战演练和初期项目立项演示的重要参考借鉴资料。 3、本资源作为“学习资料”如果需要实现其他功能，需要能看懂代码，并且热爱钻研和多多调试实践。图像数据处理工具+数据(帮助用户快速划分数据集并增强图像数据集。通过自动化数据处理流程，简化了深度学习项目的数据准备工作).zip 图像数据处理工具+数据(帮助用户快速划分数据集并增强图像数据集。通过自动化数据处理流程，简化了深度学习项目的数据准备工作).zip 图像数据处理工具+数据(帮助用户快速划分数据集并增强图像数据集。通过自动化数据处理流程，简化了深度学习项目的数据准备工作).zip 图像数据处理工具+数据(帮助用户快速划分数据集并增强图像数据集。通过自动化数据处理流程，简化了深度学习项目的数据准备工作).zip 图像数据处理工具+数据(帮助用户快速划分数据集并增强图像数据集。通过自动化数据处理流程，简化了深度学习项目的数据准备工作).zip 图像数据处理工具+数据(帮助用户快速划分数据集并增强图像数据集。通过自动化数据处理流程，简化了深度学习项目的数据准备工作).zip 图像数据处理工具+数据(帮助用户快速划分数据集并增强图像数据集。通过自动化数据处理流程，简化了深度学习项目的数据准备工作).zip 图像数据处理工具+数据(帮助用户快速划分数据集并增强图像数据集。通过自动化数据处理流程，简化了深度学习项目的数据准备工作).zip

diminico_02_0709.pdf: diminico_02_0709

agenda_3cd_01_0716.pdf: agenda_3cd_01_0716

A课件Python全栈开发线下班.zip: 目录：第1章 Linux命令入门及VIM编辑器第2章Python基础第3章Python面向对象编程第4章数据结构与算法第5章UDP与TCP通信第6章多进程编程第7章多线程编程第8章协程第9章正则表达式第10章 Http协议 Web服务器并发服务器第11章网络通信过程第12章 Python提高1 第13章 Python提高2 第14章 Mysq|基本使用第15章 Mysq|查询第16章Mysql与Python交互第17章Mysql高级第18章WSGI-miniWeb框架第19章闭包装饰器第20章 mini-web框架添加路由-MySQL功能第21章 mini-web框架添加log日志路由支持正则第22章元类与ORM-面向接口编程

diminico_02_1108.pdf: diminico_02_1108

基于人工智能大模型技术的果蔬农技知识智能问答系统.pdf: 基于人工智能大模型技术的果蔬农技知识智能问答系统.pdf

diminico_02_0307.pdf: diminico_02_0307

dawe_3cd_01_0717.pdf: dawe_3cd_01_0717

anslow_3ck_01_0319.pdf: anslow_3ck_01_0319

C#全自动多线程上位机源码编程：替代传统PLC触摸屏、以太网通信，强大功能多级页签，支持西门子PLC和OPC，安装KepserverEx5，链接其他数据库,C#多线程自动化工控屏幕上位机源码编程系统：: C#全自动多线程上位机源码编程：替代传统PLC触摸屏、以太网通信，强大功能多级页签，支持西门子PLC和OPC，安装KepserverEx5，链接其他数据库,C#多线程自动化工控屏幕上位机源码编程系统：功能强大，多级页签，通信灵活，兼容多种配置与数据库连接,C#全自动多线程上位机源码编程 0, 纯源代码。 1, 替代传统plc搭载的触摸屏。 2, 工控屏幕一体机直接和plc通信。 3, 功能强大，多级页签。 4, 可以自由设定串口或以太网通信。 5, 主页。 6, 报警页。 7, 手动调试页。 8, 参数设定页。 9, 历史查询页。 10,系统设定页。 11, 赠送所有控件。 12,使用的西门子Plc。 13,注册opcdaauto.dll组件，用于使用opc。 15,安装kepserverEx5。 16,可以链接其他数据库。 ,核心关键词： C#; 全自动多线程; 上位机源码编程; 纯源代码; PLC替代; 通信; 强大功能; 多级页签; 串口或以太网通信; 主页; 报警页; 手动调试页; 参数设定页; 历史查询页; 系统设定页; 控件赠送; 西门子PLC; OPC

移动应用开发全流程解析：从创意到上线与推广的最佳实践: 内容概要：本文详细介绍了移动应用开发的全过程，从创意构思和需求分析开始，依次阐述了原型设计、技术选型、前后端开发、测试优化、上线准备到最后的推广和后续维护，帮助读者深入了解和掌握各个环节的要点和最佳实践，特别注重实际操作中的问题和解决方法。文章不仅涵盖技术层面的内容，还包括市场营销和社会影响等方面的探讨。适合人群：移动应用开发初学者和有一定经验的开发者，想要了解移动应用从构想直到推向市场全部过程的专业人士。使用场景及目标：指导新创企业和个体开发者从零开始制作自己的应用程序，提供系统的理论知识以及实用技能指导。阅读建议：本文适合分章节细读，尤其对于每个关键阶段，可以结合具体的案例研究深入理解；在实践应用时应注意参考文中提到的实际开发中容易碰到的问题及其解决方案。

axios-v0.18.0: axios-min.js

Rust语言教程：从入门到进阶 Rust是一门注重性能、内存安全以及并发的系统编程语言它被设计用来替代C和C++，同时提供更高的安全性和更好的并发支持本教程将引导你从Rust的基础语法开始，逐步掌: Rust语言教程：从入门到进阶 Rust是一门注重性能、内存安全以及并发的系统编程语言。它被设计用来替代C和C++，同时提供更高的安全性和更好的并发支持。本教程将引导你从Rust的基础语法开始，逐步掌握到更高级的概念。一、Rust入门 1. Rust安装工具链安装：通过rustup安装Rust工具链，它包含Rust编译器、Cargo包管理器以及标准库文档。验证安装：在终端运行rustc --version和cargo --version来检查Rust和Cargo是否成功安装。 2. Hello, World! 创建一个新的Rust项目：cargo new hello_world --bin。进入项目目录：cd hello_world。编辑srcmain.rs文件，添加fn main() { println!(Hello, World!); }。编译并运行项目：cargo run。 3. Rust基础语法变量：使用let关键字声明变量，默认情况下变量是不可变的（immutable）。数据类型：整数（i32, u32等）、浮点数（f32, f64）、布尔值（bool）、字

最近访客 更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论

Mahout 系列之----距离度量

评论

发表评论

相关推荐

Mahout系列----MinHash聚类

Mahout系列----谱聚类

Mahout系列之----kmeans 聚类

Mahout系列之------Canopy算法

mahout系列之-----相似度

Mahout系列之----共轭梯度预处理

最近访客更多访客>>