全文转载：http://www.blogjava.net/zhenandaci/archive/2008/08/31/225966.html
作者：Jasper
大家应该还记得，开方检验(χ2，又称Chi-square)
其实是数理统计中一种常用的检验两个变量独立性的方法。
开方检验最基本的思想就是通过观察实际值与理论值的偏差来确定理论的正确与否。具体做的时候常常先假设两个变量确实是独立的（行话就叫做“原假设”），然后观察实际值（也可以叫做观察值）与理论值（这个理论值是指“如果两者确实独立”的情况下应该有的值）的偏差程度，如果偏差足够小，我们就认为误差是很自然的样本误差，是测量手段不够精确导致或者偶然发生的，两者确确实实是独立的，此时就接受原假设；如果偏差大到一定程度，使得这样的误差不太可能是偶然产生或者测量不精确所致，我们就认为两者实际上是相关的，即否定原假设，而接受备择假设。
那么用什么来衡量偏差程度呢？假设理论值为E，实际值为x，如果仅仅使用所有样本的观察值与理论值的差值x-E之和
来衡量，单个的观察值还好说，当有多个观察值x1，x2，x3的时候，很可能x1-E，x2-E，x3-E的值有正有负，因而互相抵消，使得最终的结果看上好像偏差为0，但实际上每个都有偏差，而且都还不小！此时很直接的想法便是使用方差代替均值，这样就解决了正负抵消的问题，即使用
这时又引来了新的问题，对于500的均值来说，相差5其实是很小的（相差1%），而对20的均值来说，5相当于25%的差异，这是使用方差也无法体现的。因此应该考虑改进上面的式子，让均值的大小不影响我们对差异程度的判断
（1）
上面这个式子已经相当好了。实际上这个式子就是开方检验使用的差值衡量公式。当提供了数个样本的观察值x1，x2，……xi ，……xn之后，代入到式（1）中就可以求得开方值，用这个值与事先设定的阈值比较，如果大于阈值（即偏差很大），就认为原假设不成立，反之则认为原假设成立。
在文本分类问题的特征选择阶段，我们主要关心一个词t（一个随机变量）与一个类别c（另一个随机变量）之间是否相互独立？如果独立，就可以说词t对类别c完全没有表征作用，即我们根本无法根据t出现与否来判断一篇文档是否属于c这个分类。但与最普通的开方检验不同，我们不需要设定阈值，因为很难说词t和类别c关联到什么程度才算是有表征作用，我们只想借用这个方法来选出一些最最相关的即可。
此时我们仍然需要明白对特征选择来说原假设是什么，因为计算出的开方值越大，说明对原假设的偏离越大，我们越倾向于认为原假设的反面情况是正确的。我们能不能把原假设定为“词t与类别c相关“？原则上说当然可以，这也是一个健全的民主主义社会赋予每个公民的权利，但此时你会发现根本不知道此时的理论值该是多少！你会把自己绕进死胡同。所以我们一般都使用”词t与类别c不相关“来做原假设。选择的过程也变成了为每个词计算它与类别c的开方值，从大到小排个序（此时开方值越大越相关），取前k个就可以。
好，原理有了，该来个例子说说到底怎么算了。
比如说现在有N篇文档，其中有M篇是关于体育的，我们想考察一个词“篮球”与类别“体育”之间的相关性（任谁都看得出来两者很相关，但很遗憾，我们是智慧生物，计算机不是，它一点也看不出来，想让它认识到这一点，只能让它算算看）。我们有四个观察值可以使用：
1. 包含“篮球”且属于“体育”类别的文档数，命名为A
2. 包含“篮球”但不属于“体育”类别的文档数，命名为B
3. 不包含“篮球”但却属于“体育”类别的文档数，命名为C
4. 既不包含“篮球”也不属于“体育”类别的文档数，命名为D
用下面的表格更清晰：
如果有些特点你没看出来，那我说一说，首先，A+B+C+D=N。其次，A+C的意思其实就是说“属于体育类的文章数量”，因此，它就等于M，同时，B+D就等于N-M。
好，那么理论值是什么呢？以包含“篮球”且属于“体育”类别的文档数为例。如果原假设是成立的，即“篮球”和体育类文章没什么关联性，那么在所有的文章中， “篮球”这个词都应该是等概率出现，而不管文章是不是体育类的。这个概率具体是多少，我们并不知道，但他应该体现在观察结果中（就好比抛硬币的概率是二分之一，可以通过观察多次抛的结果来大致确定），因此我们可以说这个概率接近
(A+B)/N
。
（因为A+B是包含“篮球”的文章数，除以总文档数就是“篮球”出现的概率，当然，这里认为在一篇文章中出现即可，而不管出现了几次）而属于体育类的文章数为A+C，在这些个文档中，应该有
En=(A+C)(A+B)/N
篇包含“篮球”这个词（数量乘以概率嘛）。
此时对这种情况下实际值与理论值的偏差程度就可以使用最开始的公式(1)，即开方检验使用的差值衡量公式。
同样，我们还可以计算剩下三种情况的差值D12，D21，D22。有了所有观察值的差值，就可以计算“篮球”与“体育”类文章的开方值
χ2（篮球，体育）=D11+D12+D21+D22
。把D11，D12，D21，D22的值分别代入并化简，可以得到
词t与类别c的开方值更一般的形式可以写成
（2）
接下来我们就可以计算其他词如“排球”，“产品”，“银行”等等与体育类别的开方值，然后根据大小来排序，选择我们需要的最大的数个词汇作为特征项就可以了。
实际上式（2）还可以进一步化简，注意如果给定了一个文档集合（例如我们的训练集）和一个类别，则N，M，N-M（即A+C和B+D）对同一类别文档中的所有词来说都是一样的，而我们只关心一堆词对某个类别的开方值的大小顺序，而并不关心具体的值，因此把它们从式（2）中去掉是完全可以的，故实际计算的时候我们都使用
（3）
好啦，并不高深对不对？
针对英文纯文本的实验结果表明：作为特征选择方法时，开方检验和信息增益的效果最佳（相同的分类算法，使用不同的特征选择算法来得到比较结果）；文档频率方法的性能同前两者大体相当，术语强度方法性能一般；互信息方法的性能最差。
但开方检验也并非就十全十美了。回头想想A和B的值是怎么得出来的，它统计文档中是否出现词t，却不管t在该文档中出现了几次，这会使得他对低频词有所偏袒（因为它夸大了低频词的作用）。甚至会出现有些情况，一个词在一类文章的每篇文档中都只出现了一次，其开方值却大过了在该类文章99%的文档中出现了10次的词，其实后面的词才是更具代表性的，但只因为它出现的文档数比前面的词少了“1”，特征选择的时候就可能筛掉后面的词而保留了前者。这就是开方检验著名的“低频词缺陷“。因此开方检验也经常同其他因素如词频综合考虑来扬长避短。
好啦，关于开方检验先说这么多，有机会还将介绍其他的特征选择算法。
附：给精通统计学的同学多说几句，式（1）实际上是对连续型的随机变量的差值计算公式，而我们这里统计的“文档数量“显然是离散的数值（全是整数），因此真正在统计学中计算的时候，是有修正过程的，但这种修正仍然是只影响具体的开方值，而不影响大小的顺序，故文本分类中不做这种修正。
分享到：
相关推荐
4. **χ²检验**：通过计算特征与类别的χ²统计量来衡量特征的重要程度。χ²检验特别适用于离散型特征，能够较好地揭示特征与类别的关联性。 #### 实验设计与结果分析 实验选择了SVM和支持向量机两种常见的分类...
1. 抽样分布：指从总体中抽取样本后，统计量（如样本均值、样本方差）的概率分布，如t分布、χ²分布、F分布等。 2. 点估计：是用样本统计量（如样本均值）作为总体参数的估计值。 3. 区间估计：根据样本信息给出...
内容概要：报告由中国信息通信研究院发布，旨在评估制造业上市公司高质量发展，强调制造业高质量发展的重要性，并构建了涵盖创新力、竞争力、影响力、贡献力四大维度的评价体系。通过对3500余家制造业上市公司2022年年报数据的综合评估，评选出百强企业。研究显示，百强企业专注主业，半数以上成长为制造业单项冠军；民营企业在盈利效率、创新发展方面表现优异；东部地区引领发展，装备制造业领先，新能源产业呈现爆发性增长。百强企业在科技创新、质效提升、持续增长、稳定就业等方面发挥重要作用，但也存在品牌建设和创新水平差距、领军企业竞争力提升空间、高端领域龙头企业培育不足等问题。 适用人群：制造业企业管理者、政策制定者、投资者及相关研究人员。 使用场景及目标：①帮助企业管理者了解行业发展趋势，提升企业竞争力；②为政策制定者提供决策参考，推动制造业高质量发展；③为投资者提供投资参考，识别优质企业；④为研究人员提供详实数据，助力学术研究。 其他说明：报告建议从重突破促升级、重创新补短板、重质量树品牌三个方面进一步推进制造业企业高质量发展，以加快建设具有全球竞争力的一流企业。
内容概要：本文详细介绍了异步电机无感矢量控制仿真的关键技术与常见问题解决方案。首先讨论了坐标变换（Clarke和Park变换）的基础操作及其注意事项，强调了正确选择系数的重要性。接下来深入探讨了滑模观测器的设计与优化方法，包括使用查表法替代三角函数计算以提高效率，以及加入低通滤波器减少高频抖振。此外，文章还涉及了速度估算的方法，如频域法和改进型滑模观测器的应用，并提供了具体的Python和Matlab代码片段。最后，针对电流环控制提出了前馈补偿机制，确保在突加负载情况下仍能保持良好的电流跟踪效果。文中多次提到调参技巧，特别是对于PI参数的选择给出了实用建议。 适合人群：从事电机控制系统研究与开发的技术人员，尤其是对异步电机无感矢量控制感兴趣的工程师。 使用场景及目标：适用于希望深入了解并掌握异步电机无感矢量控制仿真技术的研究人员和技术开发者。主要目标是在没有编码器的情况下实现对电机转速和扭矩的精确控制，同时提供详细的代码实现指导和调试经验。 其他说明：文章不仅提供了理论知识，还包括大量实际操作中的经验和教训，帮助读者避免常见的陷阱，快速搭建起有效的仿真环境。
# 基于Arduino的火箭动力学参数监测项目 ## 项目简介 这是一个基于Arduino平台的火箭动力学参数监测项目，旨在通过Adafruit BMP280压力传感器和Adafruit LIS3DH加速度传感器收集火箭飞行过程中的环境数据和运动数据。项目结合了Adafruit的BMP280库和LIS3DH库，实现对传感器数据的读取、处理及初步分析。 ## 项目的主要特性和功能 1. 环境数据监测通过BMP280压力传感器，实时监测并记录火箭周围的气压、温度和海拔高度变化。 2. 运动数据监测借助LIS3DH加速度传感器，获取火箭在飞行过程中的加速度、速度及方向变化数据。 3. 数据处理与传输Arduino负责收集和初步处理这些数据，然后通过串行通信或其他方式将数据发送到地面站或飞行控制软件。 4. 安全与警报基于收集的数据，项目可设置警报阈值，当超过预设的安全限制时，触发警报或采取相应的安全措施。 ## 安装使用步骤
# 基于Arduino的EPSleepy智能家居控制系统 ## 一、项目简介 EPSleepy是一个基于Arduino的智能家居控制系统原型。该项目旨在通过Arduino控制ESP32 WiFi和蓝牙板，结合MP3模块、shiftregister和按钮等硬件，实现智能家居的自动化控制。 ## 二、项目的主要特性和功能 1. 自动化控制通过Arduino代码控制ESP32板，实现家居设备的自动化控制。 2. 多种硬件支持支持MP3模块、shiftregister和按钮等硬件，实现音频播放、灯光控制、SD驱动等功能。 3. 模块化设计代码采用模块化设计，方便测试每个部分的功能，方便维护和调试。 4. 图形化界面可通过按钮和LED等硬件进行图形化操作和控制。 ## 三、安装使用步骤 1. 下载并解压项目源码文件。 2. 打开Arduino IDE，导入项目代码。 3. 连接硬件，包括ESP32板、MP3模块、shiftregister和按钮等。
Delphi 12.3控件之PowerPDF for Delphi11 FullSource.zip
内容概要：本文深入探讨了中微CMS32M5533在800W角磨机方案中的应用，涵盖硬件设计和软件实现的关键技术。硬件方面，介绍了三相桥驱动电路、MOSFET选择、电流检测电阻、PCB布局等细节；软件方面，重点讲解了反电动势检测算法、ADC采样时机、PWM配置以及换相时机的动态补偿。此外，还提供了调试技巧和成本控制方法。 适合人群：从事电动工具开发的技术人员，尤其是对电机控制有一定经验的研发人员。 使用场景及目标：适用于希望深入了解电动工具控制系统的设计和优化，特别是希望通过反电动势检测减少霍尔传感器使用的开发者。目标是提高系统的可靠性和性能，同时降低成本。 其他说明：文中提供的代码片段和硬件设计细节有助于实际项目的开发和调试。建议读者结合提供的GitHub资源进行实践，并关注硬件选型和PCB布局的注意事项。
CEO的绿色经历是指该首席执行官（CEO）在其个人职业发展过程中，所积累的与环境保护、可持续发展、绿色经济等相关的教育背景、工作经验或社会活动经验。 涵盖了教育背景、工作经验、社会活动与个人价值观等多个方面。这些经历不仅塑造了CEO对环境保护和可持续发展的认知和态度，还可能影响他们在企业决策中优先考虑环保因素的程度，从而对企业的长期发展和环境保护产生重要影响。 根据现有研究（姜付秀和黄继承，2013；许年行和李哲，2016），从高管个人简历数据中查找CEO以前是否接受过“绿色”相关教育或从事过“绿色”相关工作，若企业CEO具有绿色经历，Green取值1，否则，取值0。 数据 Stkcd、年份、D0801c、Green、股票简称、行业名称、行业代码、制造业取两位代码，其他行业用大类、当年ST或PT为1，否则为0、样本区间内ST或PT为1，否则为0、金融业为1，否则为0、制造业为1，否则为0、沪深A股为1，否则为0、第一种重污染行业为1，否则为0、第二种重污染行业为1，否则为0、第三种重污染行业为1，否则为0、产权性质，国企为1，否则为0、所属省份代码、所属城市代码、所在省份、所在地级市
内容概要：本文详细介绍了利用COMSOL Multiphysics对18650电池组进行蛇形液冷系统仿真的全过程。首先探讨了快充场景下电池过热的风险及其对电动车安全性和寿命的影响。接着，通过集总电池模型简化电化学反应，重点分析了电池产热方程和温度对产热的影响。随后，深入讨论了蛇形流道几何参数优化，如流道宽度与压降之间的非线性关系，以及流固交界面处理方法。此外，还涉及了多物理场耦合求解技巧，包括流场与传热模块的设置，以及后处理阶段的数据提取和可视化。最终得出优化设计方案，显著降低了电池组的最高温度和温度不均性。 适合人群：从事电动汽车电池管理系统设计的研究人员和技术工程师，尤其是熟悉COMSOL仿真工具的专业人士。 使用场景及目标：适用于需要评估和优化电动汽车电池组热管理系统的场合，旨在提高电池组的安全性和使用寿命，同时减少能量损耗。 其他说明：文中提供了大量具体的代码片段和参数设置建议，有助于读者快速上手并应用于实际工程项目中。
内容概要：本文详细介绍了CCSDS LDPC译码器的设计与实现，主要采用了修正最小和译码算法。该算法通过对传统最小和算法的改进，引入缩放因子α，提高了译码性能。文中具体讨论了（8176,7154）和（1280,1024）两种码组的应用场景及其优劣，并展示了如何通过C语言和Vivado进行仿真和硬件实现。此外，文章还探讨了硬件实现中的关键技术，如定点化处理、校验矩阵的压缩存储、动态阈值机制以及硬件流水线设计等。 适合人群：从事通信系统开发的研究人员和技术人员，尤其是对LDPC编码和译码感兴趣的工程师。 使用场景及目标：①帮助研究人员理解和实现CCSDS LDPC译码器；②为实际工程项目提供高效的译码解决方案；③提高译码性能，减少误码率，提升通信系统的可靠性和效率。 其他说明：文章不仅提供了理论分析，还包括了大量的代码示例和实践经验分享，有助于读者全面掌握CCSDS LDPC译码器的设计与实现。
# 基于Arduino的超声波距离测量系统 ## 项目简介 本项目是一个基于Arduino平台的超声波距离测量系统。系统包含四个超声波传感器（SPS）模块，用于测量与前方不同方向物体的距离，并通过蜂鸣器（Buzz）模块根据距离范围给出不同的反应。 ## 项目的主要特性和功能 1. 超声波传感器（SPS）模块每个模块包括一个超声波传感器和一个蜂鸣器。传感器用于发送超声波并接收回波，通过计算超声波旅行时间来确定与物体的距离。 2. 蜂鸣器（Buzz）模块根据超声波传感器测量的距离，蜂鸣器会给出不同的反应，如延时发声。 3. 主控制器（Arduino）负责控制和管理所有传感器和蜂鸣器模块，通过串行通信接收和发送数据。 4. 任务管理通过主控制器（Arduino）的 loop() 函数持续执行传感器任务（Task），包括测距、数据处理和蜂鸣器反应。 ## 安装使用步骤 1. 硬件连接
主角跑步动作素材图包含6张图片
企业数字化转型是指企业或组织将传统业务转化为数字化业务，利用人工智能、大数据、云计算、区块链、5G等数字技术提升业务效率和质量的过程。 当无形资产明细项包含“软件”“网络”“客户端”“管理系统”“智能平台”等与数字化转型技术相关的关键词以及与此相关的专利时，将该明细项目界定为“数字化技术无形资产”，再对同一公司同年度多项数字化技术无形资产进行加总，计算其占本年度无形资产的比例，即为企业数字化转型程度的代理变量。 本数据包含：原始数据、参考文献、代码do文件、最终结果。 参考文献：张永珅,李小波,邢铭强-企业数字化转型与审计定价[J].审计研究,2021(03):62-71. 数据 证券代码、证券简称、统计截止日期、报表类型、无形资产净额、资产总计、年份、期末余额（元）、数字化转型。
该资源为h5py-3.1.0-cp36-cp36m-win_amd64.whl，欢迎下载使用哦！
内容概要：本文介绍了一种基于QRBayes-LSTM的多/单变量时序预测方法，适用于不确定性强的场景如股票预测和电力负荷预测。该方法结合了分位数回归和贝叶斯优化，不仅能提供未来的趋势预测，还能给出预测值的置信区间。文中详细解释了数据准备、模型结构、损失函数设计、训练配置以及预测结果的可视化和评估指标。此外，还提供了变量重要性分析的方法，帮助理解哪些特征对预测结果的影响最大。 适合人群：从事数据分析、机器学习研究的专业人士，尤其是关注时序预测和不确定性量化的人群。 使用场景及目标：① 对于需要进行时序预测并希望获得置信区间的用户；② 关注模型性能评估和变量重要性的研究人员；③ 寻求提高预测精度和可靠性的从业者。 其他说明：本文提供的代码可以直接应用于Excel格式的数据，用户只需将数据导入即可运行。需要注意的是，为了获得最佳效果，应该确保数据格式正确并且符合特定的要求。
内容概要：本文详细介绍了ADAS（高级驾驶辅助系统）中四个主要功能模块的设计与实现，分别是自适应巡航控制系统（ACC）、前向碰撞预警系统（FCW）、自动紧急制动系统（AEB）和车道保持辅助系统（LKA）。文章不仅展示了各个系统的具体算法实现，如ACC中的PID控制、FCW中的TTC计算、AEB中的状态机设计和LKA中的PD控制器，还分享了许多实际开发中的经验和挑战，如参数调校、传感器融合、时间同步等问题。此外，文中还提到了一些有趣的细节，如在暴雨天气下LKA的表现优化，以及AEB系统在测试过程中遇到的各种corner case。 适合人群：汽车电子工程师、自动驾驶研究人员、嵌入式软件开发者。 使用场景及目标：帮助读者深入了解ADAS系统的工作原理和技术细节，掌握关键算法的实现方法，提高在实际项目中的开发和调试能力。 其他说明：文章通过生动的语言和具体的代码示例，使复杂的理论变得通俗易懂，有助于初学者快速入门并深入理解ADAS系统的开发流程。
内容概要：文章主要阐述了2023年中国高端制造业上市公司的发展概况，包括行业与区域两个维度的分布详情。从行业上看，高端制造业上市公司超过2400家，其中机械制造以628家的数量位居首位，电子（352家）和电力制造（336家）紧随其后，而像航空航天国防等也有一定的占比。从区域分布来看，广东、江苏、浙江三省处于领先地位，分别有410家、342家和199家，这表明东南沿海地区对于高端制造业的发展具有显著优势。数据来源于中国上市公司协会以及Wind。 适合人群：对中国经济结构、产业发展趋势感兴趣的读者，尤其是关注高端制造业发展的投资者、政策制定者及研究人员。 使用场景及目标：①帮助投资者了解中国高端制造业上市公司的行业布局，为投资决策提供参考依据；②为政策制定者提供数据支持，助力优化产业布局和发展规划；③供研究人员分析中国高端制造业的现状与未来发展趋势。 阅读建议：本文提供了丰富的数据和图表，读者应重点关注各行业的具体数据及其背后反映出的产业特点，同时结合区域分布情况，深入理解中国高端制造业的发展格局。
# 基于Python的机器学习算法实践 ## 项目简介 本项目旨在通过实践常用机器学习算法，提高数据挖掘和推荐系统的准确性，解决信息过载问题。应用场景包括电商、新闻、视频等网站，帮助用户更高效地获取所需信息。 ## 项目的主要特性和功能 数据挖掘实现多种数据挖掘算法，帮助用户从大量数据中提取有价值的信息。 机器学习算法包括常用的分类、回归、聚类等算法，提供详细的实现和示例程序。 推荐系统通过机器学习算法提高推荐系统的准确性，优化用户体验。 ## 安装使用步骤 1. 下载源码用户已下载本项目的源码文件。 2. 安装依赖 bash pip install r requirements.txt 3. 运行示例程序 bash python main.py 4. 自定义数据根据需要替换数据文件，重新运行程序以应用新的数据。