`
chakey
  • 浏览: 364471 次
  • 性别: Icon_minigender_1
  • 来自: 水星
社区版块
存档分类
最新评论

淘宝开源实时数据传输平台TimeTunnel

阅读更多

TimeTunnel是一个高效的、可靠的、可扩展的实时数据传输平台,广泛应用于实时日志收集、数据实时监控、广告效果实时反馈、数据库实时同步等领域。TimeTunnel基于发布\订阅的消息模型开发,支持消息多用户订阅 。


开源地址:

http://code.taobao.org/project/view/411/

分享到:
评论
1 楼 di1984HIT 2013-02-13  
不知道好用不。

相关推荐

    淘宝开源timetunnel入门文档

    淘宝开源的 TimeTunnel 是一个分布式的消息队列系统,旨在提供高效、可靠、可扩展的消息传输服务。在本文档中,我们将从基本概念、环境准备、编译安装、配置文件调整、测试等方面对 TimeTunnel 进行详细的介绍。 一...

    开源项目-koding-tunnel.zip

    4. **跨平台支持**:由于它是开源的,Koding Tunnel可以在各种操作系统上运行,包括Windows、macOS和Linux,满足不同开发者的使用习惯。 5. **易于集成**:对于开发团队来说,Koding Tunnel可以轻松地与其他开发...

    淘宝数据魔方技术架构解析

    - **数据传输组件**:DataX、DbSync和Timetunnel等组件用于从不同源头收集数据,并将其传输至计算层进行处理。 - **“云梯”平台**:基于Hadoop的大规模离线计算平台,每天处理约4万个作业,涉及1.5PB的原始数据。 -...

    云梯分布式计算平台整体架构

    - **TimeTunnel**:实时数据传输平台,支持实时完成海量数据的交换。具备高效性、高可靠性和高可用性等特点。 - **DBSync**:主要用于同步服务库数据到HDFS。通过分析数据库服务器的日志文件来提取相应的数据库...

    实时计算-流数据处理系统简介与简单分析.docx

    在数据实时采集阶段,常用工具如Facebook的Scribe、LinkedIn的Kafka、Cloudera的Flume、淘宝的TimeTunnel以及Hadoop的Chukwa,它们能高效收集和传输每秒数百MB的日志数据。 接下来是数据实时计算阶段,这一阶段的...

    前端开源库-tunnel2

    前端开源库-tunnel2隧道2,用于隧道代理的节点http/https代理

    淘宝应对“双11”的技术架构分析

    数据源层实时产生的数据会通过自研的数据传输组件,如DataX、DbSync和Timetunnel,传输到Hadoop集群中进行处理。 2. 计算层:计算层主要由拥有1500个节点的Hadoop集群组成,被称为“云梯”。云梯负责对原始数据进行...

    阿里数据同步前世今生.pptx

    TT(Time Tunnel)系统则是阿里为实现实时数据传输而设计的平台,它包括FileTailer、DBSync、Shrek和Broker等组件,与HBase、ODPS和HDFS等存储系统配合,实现高效的数据写入和流转。 在当前的数据流动结构中,阿里...

    开源项目-atedja-go-tunnel.zip

    开源项目-atedja-go-tunnel.zip,Golang channel that doesn't panic if you send data to it and it's already closed.

    开源项目-mmatczuk-go-http-tunnel.zip

    开源项目“mmatczuk-go-http-tunnel”是一个用Go语言编写的HTTP隧道软件,它提供了安全连接到本地主机的功能,可视为ngrok的开源替代品。该项目的主要目的是帮助开发者在不暴露本地服务器的情况下,从公共互联网访问...

    大数据下的数据分析平台架构.pdf

    互联网企业的日志数据采集工具有Scribe、Kafka、Timetunnel和Chukwa等,它们能高效地将数据传输至Hadoop中央系统。随着技术的发展,内存+SSD的解决方案也在提升内存数据分析的性能,而Hadoop生态系统不断演进,以...

    海量用户数据处理及其在一淘广告和推荐中的应用

    通过构建大规模的Hadoop集群、采用准实时数据处理技术如TimeTunnel和Storm等,不仅解决了数据量大、处理难度高的问题,还大大提升了系统的实时性和用户体验。未来,一淘将继续探索更先进的技术和方法,不断提升数据...

    大数据下的数据分析平台架构 (2).pdf

    数据采集工具如Facebook的Scribe、LinkedIn的Kafka、淘宝的Timetunnel和Hadoop的Chukwa可用于数据导入和传输至Hadoop系统。 (二) 数据量级别及对应分析架构 1. 内存级别:适用于数据量较小的情况,可使用内存...

Global site tag (gtag.js) - Google Analytics