非结构化信息(数据）总结

非结构化信息 指信息的形式相对不固定，常常是各种格式的文件。它是相对结构化信息而言的，从宏观上看也是结构化信息的一种形式。诸如电子文档、电子邮件、网页、视频文件、多媒体等。

对于来源繁多的信息资料，专业人士根据信息的格式加以划分，将其分为结构化信息和非结构化信息两大类。

结构化信息是可以数字化的数据信息，可以方便地通过计算机和数据库技术进行管理。无法完全数字化的信息称为非结构化信息，如文档文件、图片、图纸资料 、缩微胶片等。这些资源中拥有大量的有价值的信息。这类非结构化信息正以成倍的速度增长。

 

另一种定义：

结构化信息，我们通常接触的数据库所管理的信息，包括生产、业务、交易、客户信息等方面的记录。

非结构化信息，专业术语为内容，所涵盖的信息更为广泛，可分为：营运内容（operationalcontent）：如合约、发票、书信与采购记录；部门内容（workgroupcontent）：如文书处理、电子表格、简报档案与电子邮件；Web内容：如HTML与XML等格式的信息；多媒体内容（Rich MediaContent）：如声音、影片、图形等。

90%的信息和知识在“结构化”世界之外，IT应用中还存在着一个“非结构化”的世界。对大多数企业来说，ERP等业务系统所管理的结构化数据只占到企业全部信息和知识的10%左右，其他的90%都是数据库难以存取到的非结构化信息和知识。来自IDC的分析显示，虽然很多企业投资不菲建立了诸多业务支撑系统，但仍有72%的管理者认为知识没有在他们的组织得到重复利用，88%的人认为他们没有接触到企业最佳实践的机会。Gartner也曾预言，对非结构化信息和知识的管理将会带来一个新IT应用潮流。

非结构化信息处理类似于上世纪70年代以前的结构化信息应用。割裂、无法进行数据互操作的应用是其主流。以人们最常用的文档软件来看，DOC文档是MSWORD与WPS的专用格式，永中、中文2000等OFFICE产品厂商则各有各的“自留地”。这种情况下，由于文档格式的束缚而使信息四分五裂，信息流无法通畅流转，信息处理更加困难，信息资源因为“信息流的不通畅”而丧失了其应有的巨大价值。

从非结构化到半结构化，从半结构化到结构化，从结构化到关联数据体系，从关联数据体系到数据挖掘，从数据挖掘到故事化呈现，从故事化呈现到决策导向。

互连网上出现的海量信息，大概分为结构化、半结构化和非结构化三种。结构化信息如电子商务信息，信息的性质和量值的出现的位置是固定的；半结构化的信息如专业网站上的细分频道，其标题和正文的语法相当规范，关键词的范围相当局限；非结构化的信息如BLOG和BBS，所有内容都是不可预知的。

结构化信息和非结构化信息是IT应用的两个世界，它们有着各自不同的应用进化特点和规律。但是，这两个世界之间还缺少相互连接的桥梁，而这种缺失使企业中不可避免地存在“活动”、“信息和知识”的分离，其后果就是：虽然它们都在进行着“知识化”的努力，但两个世界分离的IT应用模式，注定使其难以真正实现它们的初衷——“在最合适的时间，将最合适的信息传送给最合适的人”。

 

 相比于交易型数据，非结构化数据(Unstructured Data)的增长速度要快很多。整理、组织并分析非结构化数据，能够为企业带来更多的竞争优势。每一个数据元素都有它的意义，尽管有些是和你不那么相关的。在本文中，我就将解释一些常见的非结构化数据问题。

　　非结构化数据包括以下几个类型：

　　文本：在掌握了元数据结构时，机器生成的数据，如传感器等就一定能够进行解译。当然，流数据中有一些字段需要更加高级的分析和发掘功能。

　　交互数据：这里指的是社交网络中的数据，大量的业务价值隐藏其中。人们表达对人、产品的看法和观点，并以文本字段的方式存储。为了自动分析这部分数据，我们需要借助实体识别以及语义分析等技术。你需要将文本数据以实体集合的形式展现，并结合其中的关系属性。

　　图像：图像识别算法已经逐渐成为了主流。此外，这些技术也会产生实体，尽管获取关系以及舆情分析更加具有挑战性。

　　音频：目前有许多研究是针对于解译音频流数据的内容，并能够判断说话者的情绪。然后在利用文本分析技术对这部分数据进行分析。

　　视频：毫无疑问，视频是最具挑战性的数据类型。图像识别技术可以对每一帧图像进行抽取，当然，要真正做到对视频内容进行分析还需要技术的进一步发展。而视频中又包括音频，可以用上述的技术进行解译。

　　根据上述内容，我们需要一些新的数据处理与分析功能，来获得这些数据类型的价值，下面就是其中一部分技术：

　　动态元数据发现：该技术主要针对文本数据，它能够动态地将元数据从结果集中抽取出来，比如新的REST结束点。在持续基础上维护和控制元数据。在运行时间，从大量可用选项中，选择适当的最佳匹配的元数据集。

　　分类设置：你需要能够针对其他分析层捕获并表现你的业务及其实体，以对输入的数据进行注释和参考。由于业务元素的加入，这一分类将变得更加普遍。

　　实体提取和语义分析：它能够将分类利用到任何数据流当中，并将数据流中表达的实体和关系进行提取。这种分析可以存储在一个关系型数据库当中，也可以以图表的形式进行存储。

　　多媒体识别技术：如上述所言，进行非结构化数据分析，我们就需要各种解译图片、音频视频的技术。

 

其层级如下所示：