资讯频道 → 互联网
阅读更多

1顶
0踩

互联网

转载新闻 人肉工程在机器学习实践中的作用

2015-08-26 11:27 by 副主编 mengyidan1988 评论(0) 有4242人浏览
人肉工程 机器学习 算法
关于人肉工程，包括业务知识、领域知识，经验等，在实际的机器学习问题中的应用，是一个屡见不鲜的话题，典型的有苦逼的数据清洗、人肉特征工程等。大家都想把尽可能多的过程由机器自动完成，但是目前的状态是，大部分机器学习问题中，最困难也最重要的部分，还是依靠人的经验来生成特征。那么人的经验为什么重要，能否用机器完成这个过程，本文试作一简单分析。

机器和人看待数据的区别

首先要看一下，从机器的角度看，机器学习是怎样一个问题？在机器看来，机器学习的问题通常是在一组特征上，最大化某个目标函数。注意，对于这组特征而言，机器是理解不了它的含义的。举例来说，下面一组数据（第一列是targe）
引用

0, 1, 1, 0
1, 0, 1, 1
1, 0, 0, 1
…

你能看出这组数据是什么含义吗？显然不能。但是完全可以用它训练一个分类模型，比如logistic regression。

然后查看一下关于这组数据的描述，知道这是关于某个班某次考试的结果，第一列表示物理是否及格，后面三个特征分别是性别、文理科班、数学是否及格，那么现在我知道这组数据的含义了。这样又可以训练一个logistic regression模型。问题来了，这两个模型有区别吗？显然没有。也就是说，人是如何理解数据含义的，对于算法并没有任何影响。因为从机器的角度看，这都是一堆数字而已。

现在看另一个例子，这里有一个特征是这样的
引用

1, …, 1431174193, …
1, …, 1431087793, …
0, …, 1431001393, …
1, …, 1430914993, …
0, …, 1430828593, …
…

能看出这个特征是什么吗？如果你猜测这是时间（timestamp）——那么，你已经开始使用领域知识了。对于机器来说，这只是一个整数序列而已。如果我们把这组数据代入一个线性模型，那么意味着默认预测目标和特征之间是线性关系。也就是说，学习算法的假设空间仅包含timestamp的线性函数。

机器能否通过“学习”达到和人的知识相同的效果

现在，我们既然知道这是日期，就可以增加特征，比如从日期中提取月份、星期、小时等。假设增加“小时”这么一个特征，注意，这个变换是非线性的，这里使用了人的知识。对于机器而言，没有这样的知识。如果要求机器能自动提取出这个特征，那么学习算法的假设空间至少应该覆盖timestamp到小时的转换函数，类似于(timestamp/3600)%24。这会增加假设空间的维度。如果知道函数的形式也还好，比如知道(timestamp/a)%b, 这样只需要拟合a、b两个参数。但是实际问题往往是，我怎么知道特征的转换函数是怎样的？也许是log(sin(a x)) / (exp(x) + x^2)，如果要求假设空间涵盖各种可能的函数形式，那必然大大增加假设空间的维度，很容易导致过拟合。比如神经网络，三层网络就可以逼近任意函数（有个什么连续性还是可导条件，忘了），但是太容易过拟合了，而且存在局部最优的问题。

所以，人的知识的作用在于特征变换。更进一步说，如果人的知识可以给出有效的特征变换，那么可以大大降低搜索空间的维度。对于线性模型而言，模型本身可以处理所有线性的情况，如果人的知识所产生的特征变换也是线性的，那么对于模型没有任何提升，只有非线性的变换才对模型有影响。而如果要求模型能够自动的学习出相同的非线性变换，则会造成模型的特征空间维度大大提高。

而人类的知识是千万年间积累下来的，其中包含了很多复杂的变换，而且知识之间相互依赖，如果要理解一个概念，往往需要首先理解其他的很多概念，所以，从这个意义上将，要求机器学习出人类的知识结构是不太现实的。当然，机器不必模仿人类的知识，可以学习出另外的特征变换，只要最后的模型是有效的。所以为什么现在的deep learning这么火，因为它在控制过拟合的前提下，能够在一定程度上学习出特征变换的形式，也就是在一定程度上完成了人肉特征工程的工作，目前大概也只有deep learning能做到这一点。不过，从目前的实践情况来看，人的知识仍然在具体问题中起着重要的作用。

“算法工程师”的角色和职责

基于此，可以把典型的机器学习建模过程分成三个阶段：

数据清洗、预处理、特征变换 -> 代入标准机器学习算法 -> 将结果应用到业务问题
其中，只有中间的部分是标准化的（所以一般大家都是调用现成的软件包），而两头的，则需要由人工完成，也就是把数据解释、变换成机器要求的形式，以及对结果的含义做出解释。因为机器理解不了数据的含义。

如果从这个角度看待“算法工程师”，或者“数据科学家”之类的角色，这种职业的作用在于解释数据，而不是算法研究或者编程。机器学习算法将会越来越标准化、平台化，使用门槛降低，数据科学家将不再需要处理大量的编程细节，而是越来越类似传统的医疗或金融行业的数据分析师，重在理解业务和数据。算法的研究由科研人员负责，而工程细节由通用的（分布式）平台解决。算法工程师的重点在于数据的预处理、特征生成以及模型选择和参数优化，这也是和现实情况相符的。

目前机器学习的应用还处于粗放阶段，要搭建一个系统，必须应付大量的编程细节。比如一个使用LR进行CTR预测的系统，即使使用开源的模块搭建，也往往要处理许多接口、测试和训练集划分、甚至数据存储的细节。然而，这些细节都和问题的本质无关。将来，这些技术细节将被屏蔽。例如，用一种类似SQL的语言执行模型训练过程，类似于 
CLASSIFY click
RELATE TO time, pos, user_id, ad_id
FROM ad_show_dataset
WHERE '2015-07-01' <= time <= '2015-07-31'
USING logistic_regression
CROSS VALIDATION TRAIN 40% random TEST else
EVALUATE WITH auc;
 
EXPORT MODEL file_path FORMAT PRML;

这段代码比较接近自然语言了，意思是以click为目标，以time, pos, user_id, ad_id为特征，ad_show_dataset中2015-07-01到2015-07-31之间的数据为样本，训练logistic regression模型，其中随机选择40%作为训练集，其他作为测试集。模型以auc为评估指标。最后将训练出的模型以PRML格式导出到file_path。（如果你看了上面的代码后不明白，还要看这段解释，说明我的语法设计的不好。）

从更广的范围来说，计算机技术的发展过程，就是一个不断降低人们使用计算机门槛的过程，用Brooks大神的话说，是“消除软件领域的非本质性困难”。最初的程序员，需要写汇编代码、直接处理CPU与内存。C语言和操作系统出现以后，编程门槛降低了，但是仍然免不了处理底层细节。而Java、python、php等语言出现后，编程门槛进一步降低，只要稍微经过一些培训的人，都可以写代码。而有关进程调度、内存管理、IO、缓存一致性等底层细节，被少数专业化的制作编译器、操作系统、虚拟机等的程序员掩盖。而大部分程序员的职责，是把业务逻辑“翻译”成计算机听得懂的语言。

机器学习和分布式系统也将沿着这个路线发展。少数专业化程度很高的程序员负责平台开发，屏蔽技术细节，消除“非本质性困难”，使得算法工程师或数据科学家可以专注于业务逻辑和数据含义。这个职业的性质将越来越接近产品经理，而不是工程师。工程师的技术是通用的，比如一个音乐网站的php工程师，到一个互联网金融公司写php，技术上没什么区别。而产品经理就不一样了，因为音乐和金融的业务、用户、商业模式有很大不同。

结论

所以，直白的说，算法工程师的本质就是数据解释、清洗、预处理、人肉特征工程、参数调优等。究其根本原因，在于计算机理解不了数据的含义。如果有一天计算机能够理解数据含义了，那就像计算机能听懂自然语言一样，大部分程序员可以下岗了。

本文转自：伯乐在线 由伯乐在线作者水石头stone撰写。
来自: 伯乐在线
1
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 开篇词 | 入门机器学习，已迫在眉睫

    在未来的 10 周里，我将通过“机器学习极简入门课”与同学们分享关于机器学习方面的一些心得。 课程背景 首先，我们来看一下当前机器学习领域招聘市场的行情。 上面表格中所有带有“算法”、“人工智能”、“数据...

  • 【机器学习PAI实践七】文本分析算法实现新闻自动分类

    目前很多媒体或是内容生产商对于新闻这种文本的分类常常采用人肉打标的方式，消耗了大量的人力资源。本文尝试通过智能的文本挖掘算法对于新闻文本进行分类。无需任何人肉打标，完全由机器智能化实现。本文通过PLDA...

  • 干货 | 机器学习在web攻击检测中的应用实践

    本文将介绍携程信息安全部在web攻击识别方面的机器学习实践之路。 二、恶意攻击检测系统nile架构介绍 图1： 携程nile 攻击检测系统架构第一版 首先我们简单介绍一下携程攻击检测系统nile的最初架构，如上图1所示，...

  • 机器学习极简入门课

    本达人课针对机器学习初学者，从机器学习、深度学习最基本的原理及学习意义入手，以模型为驱动，带领大家吃透几个最经典的机器学习模型——学习这些模型的原理、数学推导、训练过程和优化方法。 本课为每个模型提供...

  • 小团队撬动大数据——当当推荐团队的机器学习实践

    小团队撬动大数据——当当推荐团队的机器学习实践 http://www.csdn.net/article/2015-10-16/2825925 摘要：当当个性化推荐开发经理张相於深度分享当当推荐团队的机器学习实践经验。本次分享更侧重“面向过程...

  • [转]当当推荐团队的机器学习实践

    但是由于机器学习系统的特殊性，构建一个靠谱好用的系统却并不是件容易的事情。每当看到同行们精彩的分享时，我都会想到，这些复杂精妙的系统，是怎样构建起来的？构建过程是怎样的？这背后是否有一些坑？有一些经验...

  • 福利丨聊聊商业分析中Python和机器学习的应用场景！

    这是一个数据驱动一切的时代，从国家、企业、组织到个人，都在关注各种数据，并寄希望于从数据中获取到价值，因此数据分析就是这个时代的“淘金”！也正是因为这样，数据分析人才成为了当下的香饽饽，不...

  • 『干货』深度强化学习与自适应在线学习的阿里实践

    1搜索算法研究与实践 1.1背景 淘宝的搜索引擎涉及对上亿商品的毫秒级处理响应，而淘宝的用户不仅数量巨大，其行为特点以及对商品的偏好也具有丰富性和多样性。因此，要让搜索引擎对不同特点的用户作出针对性的排序...

  • 小团队 机器学习

    小团队撬动大数据——当当推荐团队的机器学习实践 发表于2015-10-16 09:15| 5147次阅读| 来源CSDN| 10 条评论| 作者张相於 大数据机器学习推荐系统当当 摘要：当当个性化推荐开发经理张相於深度分享当当...

  • 我的4年学习心得：AI 应该是一个整体！

    『NewBeeNLP』目前已经建立了多个不同方向交流群（机器学习 / 深度学习 / 自然语言处理 / 搜索推荐 / 图网络 / 面试交流 / 等），名额有限，赶紧添加下方微信加入一起讨论交流吧！（注意一定o要备注信息才能通过） ...

  • 【转载】基于 Kubeflow 的机器学习调度平台落地实战

    随着业务的快速发展，之前已有的基于 Yarn 的调度平台已经无法满足大规模机器学习的计算需求，因此我们在 2018 年和算法工程团队一起建设了基于 Kubeflow 和 Kubernetes 的分布式机器学习平台，并深入到业务层面进行...

  • 基于Kubeflow的机器学习调度平台落地实战

    随着业务的快速发展，之前已有的基于 Yarn 的调度平台已经无法满足大规模机器学习的计算需求，因此我们在 2018 年和算法工程团队一起建设了基于 Kubeflow 和 Kubernetes 的分布式机器学习平台，并深入到业务层面进行...

  • [架构之路-264]：个性特征 - 到底什么才是工程师文化？

    在IT领域，常常有人说起工程师文化，那么什么是工程师文化呢？

  • 机器学习极简入门课程

    开篇词 | 入门机器学习，已迫在眉睫 ...在未来的 10 周里，我将通过“机器学习极简入门课”与同学们分享关于机器学习方面的一些心得。 课程背景 首先，我们来看一下当前机器学习领域招聘市场的行情。 上面表格...

  • 实用技术干货！教你用机器学习提高日常安全运维工作中的效率

    在整个安全工作中，安全运维是不可或缺的一环，其目的是保证各项安全工作持续有效地运作。除了对外的沟通和业务对接相关工作，大部分安全运维的日常工作相对固定，如漏洞审核、安全产品运维、日志审计和应急响应等.....

  • 【总结】淘宝搜索/推荐系统背后深度强化学习与自适应在线学习的实践之路

    1搜索算法研究与实践 1.1背景 淘宝的搜索引擎涉及对上亿商品的毫秒级处理响应，而淘宝的用户不仅数量巨大，其行为特点以及对商品的偏好也具有丰富性和多样性。因此，要让搜索引擎对不同特点的用户作出针对性的...

  • 西门子S7-200PLC与MCGS触摸屏联动控制步进伺服电机的技术解析及应用实例

    内容概要：本文详细介绍了利用西门子S7-200PLC与昆仑通泰MCGS触摸屏联合控制步进伺服电机的方法和技术要点。首先阐述了硬件接线的具体方式，包括PLC输出接口与伺服驱动器之间的正确连接以及必要的安全措施如急停开关的接入。接着深入探讨了PLC程序的核心代码片段，涵盖原点回归、手动正转触发、绝对位置计算等功能模块，并解释了关键指令如PLS的作用及其使用注意事项。此外，针对触摸屏的关键配置进行了说明，涉及数值输入框、指示灯、多状态按钮等组件的设置，强调了绝对定位逻辑的实现。文中还分享了一些常见的调试问题及解决方案，例如伺服电机抖动、数据刷新延迟等问题的处理办法。最后提到该方案已在实际生产环境中成功应用并表现出良好的性能指标。 适合人群：从事自动化控制领域的工程师和技术人员，特别是那些希望深入了解PLC与触摸屏协同工作的专业人士。 使用场景及目标：适用于需要高精度定位控制的小型自动化生产线或机械设备中，旨在帮助用户掌握如何构建稳定可靠的步进伺服控制系统，提高工作效率的同时降低成本。 其他说明：作者凭借丰富的实践经验提供了许多宝贵的建议和技巧，对于初学者而言是非常有价值的参考资料。

  • 光储并网直流微电网Simulink仿真模型：MPPT与混合储能系统的优化设计

    内容概要：本文详细介绍了光储并网直流微电网的Simulink仿真模型构建，涵盖多个关键技术点。首先讨论了光伏系统的最大功率点跟踪（MPPT）算法，特别是扰动观察法的具体实现及其优缺点。接着探讨了由蓄电池和超级电容组成的混合储能系统，强调了它们各自的特点以及如何通过控制算法进行有效的功率分配。此外，还讲解了二阶低通滤波法的应用，用于提高电能质量和优化不同频率范围内的功率管理。最后，文章深入解析了逆变器的双闭环控制系统，包括电压环和电流环的设计，以确保逆变器输出与大电网的良好匹配。 适合人群：从事新能源系统设计、电力电子技术研究的专业人士，尤其是对Simulink仿真工具有所了解的研发人员。 使用场景及目标：适用于希望深入了解光储并网直流微电网内部机制和技术细节的研究者和工程师。主要目标是帮助读者掌握如何利用Simulink工具箱搭建完整的光储并网直流微电网仿真平台，从而为实际工程应用提供理论支持和技术指导。 其他说明：文中提供了大量具体的Matlab/Simulink代码片段，便于读者理解和实践。同时，作者分享了许多宝贵的实战经验和调试技巧，有助于解决实际建模过程中可能遇到的问题。

  • 西门子1200 PLC轴运动控制程序模板：多轴伺服、电缸控制及PLC通信实战应用

    内容概要：本文详细介绍了一套成熟的西门子1200 PLC轴运动控制程序模板，涵盖多轴伺服控制、电缸控制、PLC通信、气缸报警、电路图、威纶通触摸屏程序和IO表等方面的内容。该模板已在多个项目中成功应用，特别是在海康威视的路由器外壳装配机项目中表现优异。文中不仅提供了具体的代码示例，还分享了许多实战经验和技巧，如轴控制块的参数设置、PUT/GET通讯的心跳检测、气缸报警的互锁逻辑、电路图中的电源保护措施等。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是那些需要进行PLC编程和轴运动控制的从业者。 使用场景及目标：①快速掌握西门子1200 PLC轴运动控制的编程方法；②提高PLC程序的稳定性和可靠性；③优化设备性能，确保高效生产和故障预防。 其他说明：该模板不仅适用于新项目的开发，也可以作为现有系统的改进参考。通过学习和应用这些技术和经验，可以显著提升工作效率和产品质量。

Global site tag (gtag.js) - Google Analytics