标签:
杂谈 |
TopologyContext context, 记录了component和task的对应关系
一个component(如图)包含了若干task,每一个task有一个全局唯一的id, 这个id用于定位zmq的目标和来源
![storm模块结构和api对应关系 storm模块结构和api对应关系](http://xumingming-wordpress.stor.sinaapp.com/uploads/2011/09/storm-concepts.png)
context提供了id->task, task->id的映射关系
context.getThisTaskId();
context.getComponentId(context.getThisTaskId()); //获得指定taskid的componentid(String)
context.getThisComponentId() //获得componentid(String)
context.getComponentTasks("String") //制定componentid, 获得对应taskid的list。
json:{"task->component":{
"1":"count",
"2":"count",
"3":"count",
"4":"count",
"5":"count",
"6":"count",
"7":"count",
"8":"count",
"9":"count",
"10":"count",
"11":"count",
"12":"count",
"13":"__acker",
"14":"split",
"15":"split",
"16":"split",
"17":"split",
"18":"split",
"19":"split",
"20":"split",
"21":"split",
"22":"spout",
"23":"spout",
"24":"spout"},
"taskid":19
}
相关推荐
- `src/`:源代码目录,分为多个子目录,分别对应 Storm 的不同模块,如 Nimbus(主控节点)、Supervisor(工作节点)和 Bolts/Spouts(数据处理组件)等。 开发人员可以通过编译源代码并安装到本地或远程集群上,...
Ranger 的核心是 Web 应用程序,也称为 RangerAdmin 模块,此模块由管理策略、审计日志和报告等三部分组成。管理员角色的用户可以通过 RangerAdmin 提供的 web 界面或 REST API 来定制安全策略。 5. Ranger 的工作...
2. spring-rabbit-1.7.5.RELEASE.jar:Spring Rabbit是Spring框架的一个模块,它提供了一种更高级别的API来简化与RabbitMQ的集成。它利用了Spring的依赖注入和配置模型,使得开发者可以方便地声明RabbitMQ组件,如...
首先,"tencent-service-master"很可能是一个包含多个子模块的项目,这些子模块分别对应微博服务的不同功能,如用户服务、消息服务、推荐服务等。每个服务都可能由多个微服务构成,以实现高可用和可扩展性。在微服务...
1. **数据结构和算法**:源码中会涉及到各种数据结构,如数组、链表、树、图等,以及对应的算法,如搜索、排序、图遍历等,这些都决定了系统处理数据的效率和准确性。 2. **并发和多线程**:在大型系统中,多线程或...
在现代的云计算环境中,服务质量(QoS)保证是至关重要的,特别是随着大数据处理应用的普及,如MapReduce、Storm和Spark等。这些分布式应用在云数据中心内产生了大量的东西向数据流量,导致网络拥塞问题日益突出。...
2. 面向对象设计:框架允许开发者定义类来表示资源和操作,使得API的结构更加清晰,符合RESTful架构原则。比如,你可以创建一个`User`类,其中包含`GET`、`POST`、`PUT`等方法,对应HTTP请求方法,便于处理用户资源...
接着,初始化XPortalUser和XUser两个数据结构,分别对应数据库中的x_portal_user和x_user表。如果存在用户组信息,则会更新到数据库的x_group_users表中。操作日志会记录在x_trx_log表中。通过XPortalUser用户的角色...
而Storm虽然主要由Clojure编写,但也提供了Java API和其他语言的绑定。Spark Streaming的一个优势是它可以无缝集成到Spark的其他模块,如MLlib(机器学习库)和GraphX(图计算库),这意味着可以对流数据进行复杂的...
在 Python 中,有多种 ORM 框架可供选择,如 SQLObject、Storm、Django's ORM、peewee 和 SQLAlchemy 等。 #### 三、SQLAlchemy 概览 - **定义**:SQLAlchemy 是一个非常强大且功能全面的 Python ORM 框架,它提供...