`

TimeTunnel

 
阅读更多
wiki:http://code.taobao.org/trac/TimeTunnel/wiki/ZhWikiStart
介绍:http://www.tbdata.org/archives/1299
消息系统:http://rdc.taobao.com/team/jm/archives/711
ppt:http://www.docin.com/p-232910331.html
code:http://code.taobao.org/svn/TimeTunnel/trunk/
组件:
数据采集器:tailfile、DBsync
消息系统
数据消费器:DFSwriter
处理流程:



  • 大小: 39.5 KB
分享到:
评论

相关推荐

    淘宝开源timetunnel入门文档

    淘宝开源 TimeTunnel 入门文档 淘宝开源的 TimeTunnel 是一个分布式的消息队列系统,旨在提供高效、可靠、可扩展的消息传输服务。在本文档中,我们将从基本概念、环境准备、编译安装、配置文件调整、测试等方面对 ...

    iarthas:i_arthas是模仿阿里开源的阿尔萨斯(arthas)写的小工具。整体技术上采用Java agent对字节码的加载进行拦截中断,利用ASMASM Byte Viewer实现目标类字节码的加强,通过Java attach整体实现了简易版的redefine(热替换),watch(方法监控),trace(方法跟踪),timeTunnel(流量采集与重定向) )等功能-源码通

    整体实现了简易版的redefine(热替换),watch(方法监控),trace(方法互连追踪),timeTunnel(流量采集与替换)等功能。 实现思路 大体效果 时间隧道流量采集: 2 1 ------------------- 开始采集方法:doAdd 2...

    海量用户数据处理及其在一淘广告和推荐中的应用

    - **TimeTunnel (TT)**:作为一个企业消息交换平台,提供了可靠、高效的、安全的消息交换服务,支持灵活配置的日志收集方案、实时高可靠收集日志等功能。 - **Storm**:是一种分布式实时计算系统,具有水平扩展性...

    time-tunnel:一个事件收集和调度 µservice

    time-tunnel通过一组通用 API 接受具有松散定义语义的时间戳事件,然后根据作为配置一部分的规则集尽最大努力将这些事件分派到各种事件接收器。 其主要目标是为客户提供一种能够方便地把他们的活动,以自己选择的一...

    Accp5.0骑士飞行棋

    骑士飞行棋 完整代码 public class Map { int[] map = new int[100]; //对战地图 int[] luckyTurn = {6, 23, 40, 55, 69, 83};... int[] timeTunnel = {20, 25, 45, 63, 72, 88, 90}; //时空隧道

    实时计算-流数据处理系统简介与简单分析.docx

    在数据实时采集阶段,常用工具如Facebook的Scribe、LinkedIn的Kafka、Cloudera的Flume、淘宝的TimeTunnel以及Hadoop的Chukwa,它们能高效收集和传输每秒数百MB的日志数据。 接下来是数据实时计算阶段,这一阶段的...

    云梯分布式计算平台整体架构

    - **TimeTunnel**:实时数据传输平台,支持实时完成海量数据的交换。具备高效性、高可靠性和高可用性等特点。 - **DBSync**:主要用于同步服务库数据到HDFS。通过分析数据库服务器的日志文件来提取相应的数据库...

    淘宝技术嘉年华.part2.rar

    9. **TimeTunnel(剑英).pptx**:TimeTunnel可能是一种时间序列数据分析或监控工具。剑英的报告可能探讨了如何利用TimeTunnel进行故障排查、性能分析和业务监控,确保系统稳定运行。 10. **TCon无人值守的性能测试...

    [详细完整版]大数据技术.ppt

    例如,淘宝的Time Tunnel工具用于实时采集淘宝网站的各种用户、店铺、商品和交易数据,以及用户的浏览和搜索行为记录。此外,还有其他一些工具如Cloudera的Flume、Facebook的Scribe、LinkedIn的Kafka和Hadoop的...

    淘宝应对“双11”的技术架构分析

    数据源层实时产生的数据会通过自研的数据传输组件,如DataX、DbSync和Timetunnel,传输到Hadoop集群中进行处理。 2. 计算层:计算层主要由拥有1500个节点的Hadoop集群组成,被称为“云梯”。云梯负责对原始数据进行...

    hadoop china 2010

    云梯1(TimeTunnel)是一个大规模的Hadoop集群,总容量达到了9.3PB,由1100台机器组成,其中Master节点配置为8CPU(HT),48GB内存,SAS Raid,而Slave节点则有多种配置,包括8CPU/8CPU(HT)、16GB/24GB内存和不同数量...

    飞行棋java飞行棋java

    - 遍历 `luckyTurn`, `landMine`, `pause`, `timeTunnel` 数组,分别设置对应的 `map` 数组值。 - **`getGraph(int i, int index, int playerPos1, int playerPos2)`** - 功能:根据当前格子的状态返回对应的图形...

    海量数据处理优化

    - **数据同步方案-概览**:介绍TimeTunnel这样的实时数据传输平台,用于完成数据的实时交换。TimeTunnel支持数据的发布和订阅机制,能够高效地处理大规模数据流。 #### 三、图片存储架构和缓存 - **图片存储架构**...

    Arthas线上应用诊断利器概述.pdf

    Arthas可以记录慢调用,例如,使用tt(timetunnel)记录慢调用,可以重放来排查问题。 8. 生成火焰图。 Arthas可以生成火焰图,例如,使用profiler生成火焰图,可以查看应用程序的性能瓶颈。 Arthas提供了强大的...

    淘宝数据魔方技术架构解析

    - **数据传输组件**:DataX、DbSync和Timetunnel等组件用于从不同源头收集数据,并将其传输至计算层进行处理。 - **“云梯”平台**:基于Hadoop的大规模离线计算平台,每天处理约4万个作业,涉及1.5PB的原始数据。 -...

    阿里巴巴大数据之路——数据技术篇.pdf

    而TimeTunnel则用于实时数据同步,基于数据库的日志,如MySQL的bin-log和Oracle的归档日志,实现增量数据的实时传输,其本质上是一个消息中间件。 在数据同步过程中,一个常见的挑战是如何合并增量数据与全量数据。...

    安防与监控中的视频监控落地四要素:预测、检测、报警及定位

    技术实现中,Goldeneye利用TimeTunnel进行日志采集,jstorm和ODPS MR job处理实时和批量数据,而HBase作为存储层。阈值预测、监控检测、报警生成和定位等功能则基于历史数据分析和智能算法模型,实现对业务监控的...

Global site tag (gtag.js) - Google Analytics