阅读更多

7顶
0踩

数据库

根据国外媒体报道,Twitter计划开源Hadoop-happy架构的一个附加部分,Twitter用来作为内部数据分析。作为知名的Crane,这个是用来将MySQL转化到Hadoop的工具。这一开源数据分析平台建立在Google的私有设施上。

 

Twitter使用Hadoop来进行数据分析,同时该平台也被使用在站点上,包括Twitter的名称搜索功能。

 

Twitter的大部分表格数据存储在MySQL中,只有一小部分存储在Cassandra。Twitter的技术负责人表示要做的就是在一些地方结束MySQL表格存储。

 

因此Crane被开发出来,用于将数据从MySQL到HDFS或者Hadoop的HBase上。

来自: oschina
7
0
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 【企业开源系列】Twitter:收发一条推文的背后

    7年前的一个创意,成就了如今风靡全世界的社交网络和微博客服务——Twitter。如今Twitter的月活跃用户数达到了2亿多,每天大约有5亿条推文被发送。...本文主要介绍支撑Twitter成功运转的主要的开源项目。

  • Twitter开源后哪些技术和算法可以借鉴

    Twitter 的内容推荐算法和用户画像算法都基于自然语言处理技术,如果 Twitter 将其开源,那么其他公司和组织可以使用该算法来改进他们的自然语言处理技术,并为他们的应用提供更好的用户体验。:推荐算法是 Twitter ...

  • 20+ Twitter开源软件精选

    从Twitter的GitHub账户中可以看到,Twitter已经开源的开源项目有近200个,领域涉及分布式架构、大数据、异步网络传输(客户端、服务端)、Web、工具等。Twitter可以称为构建于开源项目之上,该公司开源负责人Chris ...

  • 开源大数据处理系统/工具大全

    查询引擎 一、Phoenix 贡献者::Salesforce 简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端...Phoenix查询引擎会将SQL...

  • 一共81个,开源大数据处理工具汇总(下)(转)

    接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。   日志...

  • 开源词法&语法分析工具系列一:ANTLR4入门

    为什么要研究这个工具? 最初是为了做sql审核,本来想找一款开源的sql审核软件,无奈国内某著名电商开源的一款产品居然闭源了,另外一款产品只有部分开源,核心代码也是闭源;不得已,只有自己动手丰衣足食了,刚...

  • Hadoop Ecosystem(Hadoop生态环境-130多个相关开源项目)

    Apache Hadoop项目开发用于可靠、可扩展的分布式计算的开源软件。 Apache Hadoop软件库是一个框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台计算机,每台计算机都...

  • 小白 也能听懂Hadoop到底是什么!

    呆在舒适区太久了,最近学了下大数据,正好总结,复习一下,用一个小故事来带出Hadoop是什么 ! 有一天 ,我的朋友小扬 在看 某老师的视频 ,他刚开始看的时候,查找没什么难度,一般利用搜索引擎下载下来,然后...

  • Twitter开源软件项目列表

    在Twitter公司,当计划开展...Twitter从开源社区中获得了大量的好处,而Twitter也在不断地回馈社区,开源了大量基础设施和工具,使得其他企业和开发者不必重新发明轮子,在这些开源项目的基础上更加快速地实现自己所需

  • 开源大数据处理工具汇总

    Google生产环境下的大规模分布式系统的跟踪系统 Zipkin http://twitter.github.io/zipkin/ Twitter开源的参考Google Dapper而开发,使用Apache Cassandra做为数据存储系统 https://github.com/twitter/zipkin/

  • 史上最全,100+大数据开源处理工具汇总

    本文除了一些常用的大数据工具,还总结汇总了其他大数据工具,几乎是最全的...我们将针对大数据开源工具不同的用处来进行分类,并且附上了官网和部分下载链接,希望能给做大数据的朋友做个参考。下面是第一部分。查...

  • 大数据开源框架技术汇总

    主要基于对现阶段一些常用的大数据开源框架技术的整理,只是一些简单的介绍,并不是详细技术梳理。可能会有疏漏,发现再整理。参考得太多,就不一一列出来了。这只是作为一个梳理,对以后选型或者扩展的做个参考。

  • BAT等大厂已开源的70个实用工具盘点(附下载地址)

    前面的一篇文章《微软、谷歌、亚马逊、Facebook等硅谷大厂91个开源软件盘点(附下载地址)》列举了国外8个互联网公司(包括微软、Google、亚马逊、IBM、Facebook、Twitter、eBay、VMware)的开源软件项目,今天我们...

  • Hadoop 功能组件入门

    Hadoop(英译: 大数据分析/云计算/分布式计算) 框架图,借助Hadoop框架及云计算核心技术MapReduce来实现数据的计算和存储,并且将HDFS分布式文件系统和HBASE分布式数据库很好地融入到云计算框架中,从而实现了云计算的...

  • 安装关系型数据库MySQL和大数据处理框架Hadoop

    1. 简述Hadoop平台的起源、发展历史与应用现状。列举发展过程中重要的事件、主要版本、主要厂商;国内外Hadoop应用的典型案例。 (1)Hadoop的介绍: Hadoop最早起源于Nutch,Nutch的设计目标是构建一个大型的全网...

  • 离线数仓(一):通俗易懂的 Hadoop集群环境搭建

    文章目录文章目录一、 Hadoop 集群1.1 Hadoop集群安装1.1.1 集群部署规划1.1.2 配置集群1.1.3 启动集群1.1.4 集群基本测试1.2 Hadoop 项目经验1.2.1 HDFS 存储多目录1.2.2 LZO 压缩配置1.2.3 LZO 创建索引1.2.4 基准...

  • 速度收藏 | 100+大数据开源处理工具汇总

    本文除了一些常用的大数据工具,还总结汇总了其他大数据工具,几乎是最全的大数据工具的总结;如果你想入门大数据,可以对他们进行简单的了解;如果你想学习自己熟悉意外的大数据工具,可以看这篇文章;如果你想选择...

  • 开源公司黄页之 Twitter 开源软件推荐

    从Twitter的GitHub账户中可以看到,Twitter已经开源的开源项目有近200个,领域涉及分布式架构、大数据、异步网络传输(客户端、服务端)、Web、工具等。Twitter可以称为构建于开源项目之上,该公司开源负责人Chris ...

  • 【java毕业设计】智慧社区教育服务门户.zip

    有java环境就可以运行起来 ,zip里包含源码+论文+PPT, 系统设计与功能: 文档详细描述了系统的后台管理功能,包括系统管理模块、新闻资讯管理模块、公告管理模块、社区影院管理模块、会员上传下载管理模块以及留言管理模块。 系统管理模块:允许管理员重新设置密码,记录登录日志,确保系统安全。 新闻资讯管理模块:实现新闻资讯的添加、删除、修改,确保主页新闻部分始终显示最新的文章。 公告管理模块:类似于新闻资讯管理,但专注于主页公告的后台管理。 社区影院管理模块:管理所有视频的添加、删除、修改,包括影片名、导演、主演、片长等信息。 会员上传下载管理模块:审核与删除会员上传的文件。 留言管理模块:回复与删除所有留言,确保系统内的留言得到及时处理。 环境说明: 开发语言:Java 框架:ssm,mybatis JDK版本:JDK1.8 数据库:mysql 5.7及以上 数据库工具:Navicat11及以上 开发软件:eclipse/idea Maven包:Maven3.3及以上

  • 基于selenium的携程机票爬虫资料齐全+详细文档+高分项目+源码.zip

    【资源说明】 基于selenium的携程机票爬虫资料齐全+详细文档+高分项目+源码.zip 【备注】 1、该项目是个人高分项目源码,已获导师指导认可通过,答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用,也可作为毕业设计、课程设计、作业、项目初期立项演示等,当然也适合小白学习进阶。 4、如果基础还行,可以在此代码基础上进行修改,以实现其他功能,也可直接用于毕设、课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!

Global site tag (gtag.js) - Google Analytics