资讯频道 → 开源软件
阅读更多

0顶
0踩

开源软件

原创新闻 DeepText：Facebook的文本解析引擎

2016-06-08 10:55 by 副主编 mengyidan1988 评论(0) 有7073人浏览
DeepText facebook

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

文本是Facebook上主要的交流形式。不论是浏览或是从垃圾信息中过滤出感兴趣的内容，理解各种不同的文本对于改进Facebook产品的用户体验都非常重要。

基于这个想法，我们构建了DeepText。它是一个基于深度学习的文本解析引擎，能够按照接近人类的思维处理文本信息，处理的速度高达每秒钟上千篇文章，支持的语言高达20多种。

DeepText利用了多个深度神经网络架构，包括卷积和复发性神经网络，能够在单词和字母级别进行学习。我们使用FbLearner Flow和Torch训练模型。通过FBLearner Predictor平台，点击按钮即可获得模型服务。该服务的基础基础设施易于扩展，提供的模型非常可靠。Facebook的工程师们可以通过DeepText提供的自服务架构轻松构建新DeepText模型。

为什么要深度学习
文本处理包含许多任务，比如将文章分类到篮球板块；识别其中的实体，比如运动员的名字；提取比赛的统计数据以及其它有意义的信息。但是要更加接近人类理解文本的能力，需要教会电脑理解俚语以及如何消除歧义。比如如果某个人说，“I like blackberry”，那么他指的是水果还是手机？

在Facebook上进行文本解析需要处理很多困难的扩展性及语言方面的问题。用传统的NLP技术解决这些问题效果不佳。相比传统的NLP技术，通过深度学习我们能够更好地对多语言提供支持，并且更加高效地处理标签数据。起初Ronan Collobert与Yann LeCun在Facebook AI Research发布了论文，DeepText在此技术上提供了实现并在深度学习上进行了扩展。

更多、更快地解析语言
Facebook是一个真正意义上的全球化社区，因此DeepText需要尽可能多地支持更多种类的语言。传统的NL技术需要大量复杂的工程和语言知识预处理。语言不同要求的处理方式也有差别，比如方言和不通的拼写方式就是最好的例子。通过深度学习，我们能够降低对语言特定知识相关的依赖，系统可以在不需要或者很少的预处理情况下也能够进行学习。这样可以帮助我们快速地实现对多语言的支持，从而将工程开发的工作量实现最小化。

更深层次的理解
在传统的NLP技巧中，单词会转换为计算机算法能够识别的格式。“brother”这个单词可能标识为ID 4598，而单词“bro”会对应另一个整数，比如986665。这种方式要求每个单词在训练数据中拼写正确，这样才能够被解析。

采用深度学习，我们可以使用“单词嵌入（word embedding）”这样的数学概念，这样就能够记录单词之间的语义关系。因此，只需要进行适当的计算，就能够看到“brother”和“bro”在空间上离得很近。这种表示方式就能够获取更深层次的语义。

使用单词嵌入，我们还能够摈弃表面形式的差异，在不同语言之间理解相同的语义。比如英语和西班牙语的“happy birthday”和“feliz cumpleaños”在同一个嵌入空间里离得非常近。通过把单词和短语映射到一个公共的嵌入空间，DeepText能够构建模型语言无关的模型。

标签数据的不足
除了上面提到的差别外，书面语言还可以利用无监督学习从单词嵌入中对非标签数据进行学习和提取结构。深度学习提供了一个很好的框架，可以提升这些单词嵌入，使用带标签的较小集合进一步改进。相对传统方式，这是一个明显的优势，后者需要大量人工标签过的数据并且对新任务响应非常困难。很多情况下，作为牺牲标签数据集合的补偿，无监督学习和监督学习的组合能够显著提高性能。

在Facebook上探索DeepText
DeepText已经在Facebook一些功能上进行了测试。以Messenger为例，DeepText被AML Conversation Understanding团队用来分析人们可能希望去的地方。这种目的检测可以帮助分析是否需要打车，比如他/她会说：“我刚从出租车上下来”，而不是“我需要搭便车”。

视频：https://code.facebook.com/Engineering/videos/10154132641047200/

我们还开始使用精确性更高、多语言DeepText模型来帮助人们发现他们的目的。例如有人会发帖说：“我想要$200卖掉旧自行车，有人感兴趣吗？”。DeepText能够检测到这个帖子是在卖东西，然后提取一些有用的信息，包括正在卖东西以及东西的价钱。然后，会提示卖家使用Facebook已有的工具更好地达成交易。

DeepText通过对意图、情绪和实体（人物/地点/事件）的提取，结合文本、图片并自动移除垃圾信息的干扰，能够更好的提升Facebook用户体验。许多名人和公众人物使用Facebook与公众交流。这些交流通常会带来成百上千的评论。从这些各种语言的评论中找到高质量且相关度较高的评论是一个很大的挑战。除此之外，DeepText面临的另一个挑战是如何找到相关度或质量最高的评论。

下一步计划
我们将与Facebook AI Research小组一起持续改进DeepText技术及语言。具体的改进有以下几点。

更好地理解人们的意图
在Facebook上个性化体验最重要的一部分是为人们推荐相关内容。要做到这一点，必须将指定文本对应到一个具体的主题，这就需要提供大量的标签数据。

采用手工方式很难生成这些数据集，于是我们开始尝试使用公共Facebook页面采用半监督的方式生成这样的数据集。很容易想象，这些页面上都是和特定主题相关的帖子。例如，在Steelers页面上的帖子都包含了与Steelers足球队相关的文字。通过这些内容对我们称作PageSpace的通用兴趣分析器，使用DeepText作为底层技术。反过来，这些工作能够进一步分改进Facebook其它功能的文本解析系统，从而提高用户体验。

同步理解文本与可视化信息
通常，人们会同步发布图片或视频来描述文字内容。其中的一些场景，需要结合文字和可视化信息理解人们的意图。例如，一个朋友会发布一个自己宝宝的图片，配上“Day 25”这样的文字。图片与文字清晰地表明，这是一条有关家庭的消息。我们与Facebook的视觉内容处理小组共同构建深度学习架构，可以结合文字与可视化输入来理解人们的意图。

新的深层神经网络架构
我们会继续开发并研究新的深层神经网络架构。双向复发性神经网络（BRNNs）展示了令人振奋的结果。BRNNs旨在通过递归发现单词之间，通过卷积发现位置不变的语义之间上下文依赖关系。我们观察到，BRNNs比常规的卷积或复发性神经网络做分类时错误率更低。某些情况下，错误率能够降低到20%。

将深度学习技术应用到文本解析的过程能够持续改进Facebook产品的用户体验，反之亦然。Facebook上非结构化数据提供了一个独一无二的机会，用多种不同语言对文本解析系统进行自动训练，使得自然语言处理技术的发展能更进一步。

视频：https://code.facebook.com/Engineering/videos/10154132635127200/

原文：Introducing DeepText: Facebook’s text understanding engine
作者：Ahmad Abdulkader, Aparna Lakshmiratan, Joy Zhang
译者：赖信涛，责编：魏伟
0
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • Facebook新引擎DeepText（文本解析引擎），让机器像人类一样去理解

    DeepText：Facebook的文本解析引擎 Facebook已经开发出了一种引擎，这种引擎能够使我们更好地理解帖子的内容。该引擎被称为DeepText，它通过利用深层神经网络架构去理解那些分享的文章内容。 这种技术得益于...

  • 人工智能的动作来看这四家：百度、谷歌、微软、Facebook

    人工智能的动作来看这四家：百度、谷歌、微软、Facebook 人工智能已经成了兵家必争之地，但说句实在话，也都是准备的姿势。不过，瞭望未来的AI大战，积极的人才、设施、技术储备都是刚需。近日，美国《财富》杂志...

  • 百度/谷歌/微软/Facebook 人工智能发展方向

    人工智能的动作来看这四家：百度、谷歌、微软、Facebook人工智能已经成了兵家必争之地，但说句实在话，也都是准备的姿势。不过，瞭望未来的AI大战，积极的人才、设施、技术储备都是刚需。近日，美国《财富》杂志...

  • Facebook开源NLP建模框架PyText，从论文到产品部署只需数天

    选自code.fb作者：AHMED ALY HEGAZY、CHRISTOPHER DEWAN机器之心编译参与：淑婷、张倩Facebook AI Research（FAIR...

  • 2016年人工智能产业梳理：一朝引爆，稳步前进（上篇）

    已经开源的有微软的DMTK（分布式机器学习工具包）、OpenAI的AI训练平台Universe、亚马逊的“御用”的深度学习平台“多语言机器学习资料库”MXNet等，未开源的像Facebook的基于深度学习的文本解析引擎Deeptext等。...

  • 走近人工智能

    ‍ －－－－－－－－－－－－－－－－－－－－－－ 人工智能的动作来看这四家：百度、谷歌、微软、Facebook 人工智能已经成了兵家必争之地，但说句实在话，也都是准备的姿势。不过，瞭望未来的AI大战，积极的人才、...

  • 基于知识图谱的智能问答

    基于以上高质量海量的对话数据，Facebook 基于深度学习技术推出了一个用于自然语言处理的框架叫 DeepText，用于自然语言表示学习和各种分类等任务。有名的 Fast Text 也包含在内。Facebook 更是基于Deep Text 推出了...

  • 基于知识图谱的智能问答方案

    而利用知识图谱的推理功能，我们还可以获得动态的结果，在Wolfram|Alpha知识计算引擎中，我可以输入我们的数学题目，引擎可以直接给出答案，而这些答案显然并不是预先写好的。而在企业智能应用中，因为有了知识图谱...

  • 智慧园区3D可视化解决方案PPT(24页).pptx

    在智慧园区建设的浪潮中，一个集高效、安全、便捷于一体的综合解决方案正逐步成为现代园区管理的标配。这一方案旨在解决传统园区面临的智能化水平低、信息孤岛、管理手段落后等痛点，通过信息化平台与智能硬件的深度融合，为园区带来前所未有的变革。 首先，智慧园区综合解决方案以提升园区整体智能化水平为核心，打破了信息孤岛现象。通过构建统一的智能运营中心（IOC），采用1+N模式，即一个智能运营中心集成多个应用系统，实现了园区内各系统的互联互通与数据共享。IOC运营中心如同园区的“智慧大脑”，利用大数据可视化技术，将园区安防、机电设备运行、车辆通行、人员流动、能源能耗等关键信息实时呈现在拼接巨屏上，管理者可直观掌握园区运行状态，实现科学决策。这种“万物互联”的能力不仅消除了系统间的壁垒，还大幅提升了管理效率，让园区管理更加精细化、智能化。 更令人兴奋的是，该方案融入了诸多前沿科技，让智慧园区充满了未来感。例如，利用AI视频分析技术，智慧园区实现了对人脸、车辆、行为的智能识别与追踪，不仅极大提升了安防水平，还能为园区提供精准的人流分析、车辆管理等增值服务。同时，无人机巡查、巡逻机器人等智能设备的加入，让园区安全无死角，管理更轻松。特别是巡逻机器人，不仅能进行360度地面全天候巡检，还能自主绕障、充电，甚至具备火灾预警、空气质量检测等环境感知能力，成为了园区管理的得力助手。此外，通过构建高精度数字孪生系统，将园区现实场景与数字世界完美融合，管理者可借助VR/AR技术进行远程巡检、设备维护等操作，仿佛置身于一个虚拟与现实交织的智慧世界。 最值得关注的是，智慧园区综合解决方案还带来了显著的经济与社会效益。通过优化园区管理流程，实现降本增效。例如，智能库存管理、及时响应采购需求等举措，大幅减少了库存积压与浪费；而设备自动化与远程监控则降低了维修与人力成本。同时，借助大数据分析技术，园区可精准把握产业趋势，优化招商策略，提高入驻企业满意度与营收水平。此外，智慧园区的低碳节能设计，通过能源分析与精细化管理，实现了能耗的显著降低，为园区可持续发展奠定了坚实基础。总之，这一综合解决方案不仅让园区管理变得更加智慧、高效，更为入驻企业与员工带来了更加舒适、便捷的工作与生活环境，是未来园区建设的必然趋势。

  • labelme标注的json转mask掩码图，用于分割数据集 批量转化，生成cityscapes格式的数据集

    labelme标注的json转mask掩码图，用于分割数据集 批量转化，生成cityscapes格式的数据集

  • （参考GUI）MATLAB GUI漂浮物垃圾分类检测.zip

    （参考GUI）MATLAB GUI漂浮物垃圾分类检测.zip

  • 人脸识别_OpenCV_活体检测_证件照拍照_Demo_1741778955.zip

    人脸识别项目源码实战

  • 人脸识别_科大讯飞_Face_签到系统_Swface_1741770704.zip

    人脸识别项目实战

  • 跟网型逆变器小干扰稳定性分析与控制策略优化simulink仿真模型和代码.zip

    本仿真模型基于MATLAB/Simulink（版本MATLAB 2016Rb）软件。建议采用matlab2016 Rb及以上版本打开。（若需要其他版本可联系代为转换） CSDN详情地址：https://blog.csdn.net/qq_50594161/article/details/146242453sharetype=blogdetail&sharerId=146242453&sharerefer=PC&sharesource=qq_50594161&spm=1011.2480.3001.8118

  • 16-1文本表示&词嵌入.ipynb

    实战练习分词、创建词表、文本处理

  • 45页-零碳智慧园区标准解决方案：模块化、可扩展且可复制的解决方案.pdf

    在智慧园区建设的浪潮中，一个集高效、安全、便捷于一体的综合解决方案正逐步成为现代园区管理的标配。这一方案旨在解决传统园区面临的智能化水平低、信息孤岛、管理手段落后等痛点，通过信息化平台与智能硬件的深度融合，为园区带来前所未有的变革。 首先，智慧园区综合解决方案以提升园区整体智能化水平为核心，打破了信息孤岛现象。通过构建统一的智能运营中心（IOC），采用1+N模式，即一个智能运营中心集成多个应用系统，实现了园区内各系统的互联互通与数据共享。IOC运营中心如同园区的“智慧大脑”，利用大数据可视化技术，将园区安防、机电设备运行、车辆通行、人员流动、能源能耗等关键信息实时呈现在拼接巨屏上，管理者可直观掌握园区运行状态，实现科学决策。这种“万物互联”的能力不仅消除了系统间的壁垒，还大幅提升了管理效率，让园区管理更加精细化、智能化。 更令人兴奋的是，该方案融入了诸多前沿科技，让智慧园区充满了未来感。例如，利用AI视频分析技术，智慧园区实现了对人脸、车辆、行为的智能识别与追踪，不仅极大提升了安防水平，还能为园区提供精准的人流分析、车辆管理等增值服务。同时，无人机巡查、巡逻机器人等智能设备的加入，让园区安全无死角，管理更轻松。特别是巡逻机器人，不仅能进行360度地面全天候巡检，还能自主绕障、充电，甚至具备火灾预警、空气质量检测等环境感知能力，成为了园区管理的得力助手。此外，通过构建高精度数字孪生系统，将园区现实场景与数字世界完美融合，管理者可借助VR/AR技术进行远程巡检、设备维护等操作，仿佛置身于一个虚拟与现实交织的智慧世界。 最值得关注的是，智慧园区综合解决方案还带来了显著的经济与社会效益。通过优化园区管理流程，实现降本增效。例如，智能库存管理、及时响应采购需求等举措，大幅减少了库存积压与浪费；而设备自动化与远程监控则降低了维修与人力成本。同时，借助大数据分析技术，园区可精准把握产业趋势，优化招商策略，提高入驻企业满意度与营收水平。此外，智慧园区的低碳节能设计，通过能源分析与精细化管理，实现了能耗的显著降低，为园区可持续发展奠定了坚实基础。总之，这一综合解决方案不仅让园区管理变得更加智慧、高效，更为入驻企业与员工带来了更加舒适、便捷的工作与生活环境，是未来园区建设的必然趋势。

  • 人脸识别_活体检测_数据录入_登录系统Face_Login_1741778308.zip

    人脸识别项目源码实战

  • 学生信息管理平台是一个基于Java Web技术的综合性管理平台

    学生信息管理系统是一个基于Java Web技术的综合性管理平台。通过此系统，可以实现对学生、教师、选课信息等的动态管理， 提升学校管理效率。系统采用分层架构设计，前端使用HTML、CSS，JavaScript和jQuery，后端基于Servlet，JSP和Spring框架，数据库采用MySQL。主要有四个大功能，学生管理（ 增加学生信息、删除学生信息、修改学生信息、查询学生信息）、教师管理（增加教师信息、删除教师信息、修改教师信息、查询教师信息）、选课信息管理（添加选课、查询选课情况、删除选课记录）、系统管理（ 登录与注册功能、 用户角色管理（老师，学生，管理员）、系统日志查看）。 技术架构 1.前端技术 HTML,CSS：静态页面布局与样式 JavaScript，jQuery：动态交互、DOM操作和AJAX请求 2.后端技术 Servlet：控制层，处理用户请求 JSP：页面动态生成 Spring：依赖注入，业务逻辑分离 3.数据库 MySQL：存储学生、教师，课程等数据 JDBC：数据库连接与操作

  • PHP进阶系列之Swoole入门精讲（课程视频）

    本课程是 PHP 进阶系列之 Swoole 入门精讲，系统讲解 Swoole 在 PHP 高性能开发中的应用，涵盖 协程、异步编程、WebSocket、TCP/UDP 通信、任务投递、定时器等核心功能。通过理论解析和实战案例相结合，帮助开发者掌握 Swoole 的基本使用方法及其在高并发场景下的应用。 适用人群： 适合 有一定 PHP 基础的开发者、希望提升后端性能优化能力的工程师，以及 对高并发、异步编程感兴趣的学习者。 能学到什么： 掌握 Swoole 基础——理解 Swoole 的核心概念，如协程、异步编程、事件驱动等。 高并发处理——学习如何使用 Swoole 构建高并发的 Web 服务器、TCP/UDP 服务器。 实战项目经验——通过案例实践，掌握 Swoole 在 WebSocket、消息队列、微服务等场景的应用。 阅读建议： 建议先掌握 PHP 基础，了解 HTTP 服务器和并发处理相关概念。学习过程中，结合 官方文档和实际项目 进行实践，加深理解，逐步提升 Swoole 开发能力。

Global site tag (gtag.js) - Google Analytics