从大数据到深度学习，这些年度开源“新秀”你可用过？

0顶
0踩

2017-03-03 16:24 by 副主编 jihong10102006 评论(0) 有5151人浏览

大数据深度学习

开源如今已渗透到多个领域，从流行应用，到在线服务，再到高新技术，有许许多多的新兴项目出现，也有活跃多年的经典项目随着技术的演变进入新的领域。

国外开源软件管理供应商 Black Duck Software 在2月底发布了第九期年度“开源新秀”报告，显示了在过去一年中在多个领域的全新 top 开源项目。涉及到的领域有：区块链、数据库、深度学习、SDN、容器、网络安全和教育。

1、区块链 —— Sawtooth Lake
Sawtooth Lake（锯齿湖）是英特尔在2016年4月推出的实验性分布式账本平台。英特尔将此项目描述为“用于建造、部署和运行分布式账本的高度模块化平台”。

Sawtooth Lake 平台采用了两种已建立的共识算法，其中一种受到了比特币的启发，另一种则与瑞波（Ripple）和恒星（Stellar）网络的共识算法有关。

第一种，称之为PoET（Proof of Elapsed Time），也就是‘消逝时间量证明’，它是由英特尔构建在可信执行环境的一种彩票协议。第二种，称之为‘仲裁投票’（Quorum Voting），它采用了瑞波和恒星的共识协议，用来解决需立即交易定局的需求。

目前该平台还是属于实验性质，建议用户暂时不要用该平台发布敏感型应用。

2、大数据 —— CarbonData
CarbonData 是华为在2016年推出的一个为了更快的交互查询而生的新的 Hadoop 原生文件格式，用于大数据的快速分析和多维度查询 hadoop 本地数据存储设计。目前在 Apache 软件基金会孵化。

CarbonData 使用内置索引在快以秒计的时间内快速分析查询，实现快速的数据加载速度和支持增量负载分钟时间。支持并发查询、基于时间的数据保留和基于 SQL 的查询界面。

3、深度学习 —— DSSTNE
DSSTNE，是 Deep Scalable Sparse Tensor Network Engine 的缩写，是亚马逊用来开发深度学习模型的一套框架。与其他的开源框架相比，DSSTNE 有一个独特之处，就是它对(极度)稀疏的训练数据具备优势。

其他深度学习库比如 Caffe、TensorFlow、Theano 和 Torch 都具备较大的特征集和特征网络的支持，而 DSSTNE 并没有，它是针对稀疏数据的情况完全从头构建的。DSSTNE 在气质上跟 Caffe 很像，但更强调生产环境下的性能。在稀疏场景下，DSSTNE 的运算速度比其他深度学习库快得多。DSSTNE 另外一个强项就是针对单服务器多 GPU 的使用，它能够针对全部可用 GPU 自动调度计算，加速整个的计算过程，并能构建更大的模型。

4、SDN —— OpenCORD
CORD（Central Office Re-architected as a Datacenter 即 CO 重构为数据中心）是一个跨时代的新兴技术，目标是规范和简化整个 central office (CO)，为使用白盒机硬件、开源软件、虚拟化技术如 SDN 和 NFV 的规模化的数据中心服务。

CORD 强调运营商客户所需的可升级性，高性能，可实现性，和使用简便性，。可以支持不同类型的服务提供商7用户：住宅用户、企业用户、移动用户。目前 CORD 被 AT&T 主导着，已有 Google、Radisys、三星等企业加入。

5、网络安全 —— Poseidon
Poseidon 项目试图回答两个关键问题：你的网络上有什么？它们正在做什么？ Poseidon 通过提供对网络中正在添加或删除的项目的情境感知以及生成的流量来回答这些问题。

当前 SDN 网络产品缺乏有形的安全强调来增强操作安全性。在没有情境意识的情况下，捍卫网络安全仍然是一个困难命题。Poseidon 利用 SDN 和机器学习来确定网络上的内容，以及它正在做什么，来帮助更好地保护网络。

6、云计算安全 —— Trireme
Trireme 是 Aporeto 开源的为本地云应用提供分段的项目，支持容器和 Linux 进程，并允许在任何这些实体之间实施安全策略。

Trireme 可以通过执行端到端身份验证和授权来设置安全策略和分段应用程序，而无需复杂的控制平面或 IP/port-centric ACLs 和 east-west 防火墙。

7、容器 —— Ansible Container
Ansible Container 旨在实现整个容器构建、部署和过程管理的自动化。它使用 Ansible 自动化语言，确保可以自动化整个应用程序生命周期。

Ansible Container 是一个用于构建 Docker 镜像和使用 Ansible playbook 编排容器的工具。你可以使用 Ansible 模板模块自动创建需要的组成文件。

8、教育 —— kolibri
Kolibri 是一款学习管理系统/学习应用程序，致力于向教育资源有限的地区的学生和教师提供学习资源，从农村学校、课后计划到难民营、孤儿院等等。

用户可以安装 Kolibri 并在本地网络上提供服务，无需连接网络。 Kolibri 安装后可以彼此链接，以便共享用户数据和内容。Kolibri 的核心是提供教育内容，学习者通过完成练习和测验，反馈结果，并测试他们对内容的理解。同时，它还将跟踪用户的活动以提供个性化洞察（比如“下一课”相关建议）。