资讯频道 → 开源软件
阅读更多

0顶
0踩

开源软件

原创新闻 Fregata: TalkingData开源的轻量级大规模机器学习库

2016-11-30 10:31 by 副主编 mengyidan1988 评论(0) 有6270人浏览
Fregata TalkingData 深度学习

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

Fregata是TalkingData开源的一个基于Spark的轻量级、超快速的大规模机器学习库，并在Scala中提供高级API。

显著特征：
  • 更加准确：Fregata的精确度要高于MLLib；
  • 高速度：对于广义线性模型，Fregata通常汇合在一个数据历元。对于10亿*10亿的数据集，Fregata可以在1分钟内使用内存缓存或10分钟完成一个广义线性模型训练，速度要比MLLib快10-100倍；
  • 参数自由：Fregata使用GSA SGD优化，无需学习速率调整，原因是研发团队找到了一种在训练过程中计算学习速率的方法。当面对超高维问题时，Fregata会动态计算剩余内存来确定输出的稀疏性，自动平衡精度和效率；
  • 轻量：Fregata只使用了Spark的标准API即可快速、无缝地集成到Spark上的大多数业务数据处理流程中。

架构

这里主要介绍1.0版本架构。核心部分主要基于GSA独立算法实现，包括分类，回归和聚类：
  • 分类：支持二进制和多重分类
  • 回归：在下面的版本中发布
  • 聚类：在下面的版本中发布

Spark：主要通过封装core.jar实现基于Spark的大规模机器学习算法，并提供相应的算法。

如何安装及快速入门，大家可以访问其在Github上的开源地址。
引用

130+位讲师，16大分论坛，中国科学院院士陈润生、滴滴出行高级副总裁章文嵩、联想集团高级副总裁兼CTO芮勇、上交所前总工程师白硕等专家将亲临2016中国大数据技术大会，票价折扣即将结束，预购从速。



  • 大小: 252.7 KB
0
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 轻量级大规模机器学习算法库Fregata开源：快速，无需调参

    12年大规模机器学习和数据挖掘经验，对推荐系统、计算广告、大规模机器学习算法并行化、流式机器学习算法有很深的造诣；在国际顶级会议和期刊上发表论文12篇，申请专利9项；前IBM CRL、腾讯、华为诺亚方舟实验室数据...

  • [转]轻量级大规模机器学习算法库Fregata开源

    轻量级大规模机器学习算法库Fregata开源：快速，无需调参 http://geek.csdn.net/news/detail/129806作者：张夏天，TalkingData首席数据科学家。12年大规模机器学习和数据挖掘经验，对推荐系统、计算广告、大规模...

  • Fregata 机器学习算法库开源：快速，无需调参

    大规模机器学习的挑战 随着互联网，移动互联网的兴起，可以获取的数据变得越来越多，也越来越丰富。数据资源的丰富，给机器学习带来了越来越多，越来越大创造价值的机会。 机器学习在计算广告，推荐系统这些价值上...

  • Fregata使用简介

    最近TalkingData开源了Fregata，Fregata的主要作用是加速基于spark的机器学习的计算速度，据说10亿*10亿级别的数据如果缓存到内存中的话用1s钟就可以算完，如果不缓存的话，十秒钟搞定，如果这么来的话，那真是碉堡...

  • 【CSDN AI 周刊】No. 004 | 2017年深度学习十大趋势预测

    若您有希望与业界分享的AI实施案例、资料整理、学习笔记、趣闻妙谈，请发送邮件至wangyi@csdn.net，期待您的声音。2017年深度学习十大趋势预测本文作者曾经多次预测了技术发展的趋势，最近的一次预测是“2011年软件...

  • 开源大数据周刊-第34期

    轻量级大规模机器学习算法库Fregata开源 Fregata是TalkingData开源的大规模机器学习算法库，基于Spark，目前支持Spark 1.6.x, 很快会支持Spark 2.0。目前Fregata包括了Logistic Regression, Softmax, 和Random ...

  • 2016年大数据80篇爆款文章：这一年你追过的那些技术

    回过头来我们看看这一年的脚印，这里我按照文章内容做了一次汇总，分为：流处理、机器学习、用户画像、数据驱动、Hadoop、Apache Spark、Apache Kylin、Druid、推荐系统和大数据平台架构。 流处理 2016年流式...

  • 2017年深度学习十大趋势预测

    2017年深度学习十大趋势预测 本文作者曾经多次预测了技术发展的趋势，最近的一次预测是“2011年软件发展的趋势与预测”。10项预言中，准确地命中了6项，比如JavaScript VM、NoSQL、大数据分析、私有云、Scala...

  • ArchSummit2016干货分享+美团：即时物流调度平台实践+一点资讯：兴趣引擎-深度融合搜索和推荐+阿里-智能问答系统的实践

    ThinkData：Fregata- Spark上的轻量级大规模机器学习算法库 已开源： https://github.com/TalkingData/Fregata 基于Spark实现的分布式机器学习算法库，目前只有几个基础的模型(LR、softmax、RDT)，声称相比MLlib...

  • spring-boot-2.6.6.jar中文-英文对照文档.zip

    # 压缩文件中包含： 中文-英文对照文档 jar包下载地址 Maven依赖 Gradle依赖 源代码下载地址 # 本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 # 特殊说明： ·本文档为人性化翻译，精心制作，请放心使用。 ·只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； ·不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件；

  • LabVIEW中最小二乘法曲线拟合与报表生成：流程图自动化实现波形拟合的最佳方法

    内容概要：本文详细介绍了LabVIEW中最小二乘法的应用及其在曲线拟合和报表生成中的具体实现。LabVIEW作为一种流程图编程语言和开发环境，能够通过图形化编程的方式，使用户轻松构建拟合模型并计算最佳拟合曲线的参数。此外，LabVIEW还提供了丰富的波形处理和分析工具，支持对波形数据进行预处理（如滤波、降噪和采样），并通过最小二乘法进行波形拟合，最终生成详细的报表。最小二乘法通过最小化数据点与拟合曲线之间的误差平方和，广泛应用于统计学、工程学和物理学等领域。 适合人群：从事科学研究、工程设计和数据分析的专业人士，尤其是那些希望通过图形化编程提高工作效率的人群。 使用场景及目标：适用于需要对大量数据进行拟合分析并生成报告的场合，如实验数据分析、工程设计验证等。目标是通过LabVIEW提供的强大工具，快速准确地找到最佳拟合曲线，提升数据分析效率。 其他说明：LabVIEW不仅简化了编程过程，还提高了数据分析的直观性和准确性，使得即使是非专业程序员也能轻松上手。

  • C语言编程入门教程精简版专题培训课件.ppt

    C语言编程入门教程精简版专题培训课件.ppt

  • spring-boot-2.4.4.jar中文文档.zip

    # 压缩文件中包含： 中文文档 jar包下载地址 Maven依赖 Gradle依赖 源代码下载地址 # 本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 # 特殊说明： ·本文档为人性化翻译，精心制作，请放心使用。 ·只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； ·不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件；

  • DNA进化算法及其改进研究样本.doc

    DNA进化算法及其改进研究样本.doc

  • 智慧城市-【精品】2019年百度地图城市大数据平台解决方案.zip

    智慧城市-【精品】2019年百度地图城市大数据平台解决方案.zip

  • spring-data-redis-1.2.0.RELEASE.jar中文-英文对照文档.zip

    # 压缩文件中包含： 中文-英文对照文档 jar包下载地址 Maven依赖 Gradle依赖 源代码下载地址 # 本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 # 特殊说明： ·本文档为人性化翻译，精心制作，请放心使用。 ·只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； ·不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件；

  • spring-data-redis-1.4.3.RELEASE.jar中文文档.zip

    # 压缩文件中包含： 中文文档 jar包下载地址 Maven依赖 Gradle依赖 源代码下载地址 # 本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 # 特殊说明： ·本文档为人性化翻译，精心制作，请放心使用。 ·只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； ·不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件；

  • rocksdbjni-6.19.3.jar中文文档.zip

    # 压缩文件中包含： 中文文档 jar包下载地址 Maven依赖 Gradle依赖 源代码下载地址 # 本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 # 特殊说明： ·本文档为人性化翻译，精心制作，请放心使用。 ·只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； ·不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件；

  • spring-boot-1.2.8.RELEASE.jar中文-英文对照文档.zip

    # 压缩文件中包含： 中文-英文对照文档 jar包下载地址 Maven依赖 Gradle依赖 源代码下载地址 # 本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 # 特殊说明： ·本文档为人性化翻译，精心制作，请放心使用。 ·只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； ·不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件；

Global site tag (gtag.js) - Google Analytics