`
m635674608
  • 浏览: 5043662 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

storm - 常用命令

 
阅读更多

1、提交Topologies

命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】【stormIP地址】【storm端口】【拓扑名称】【参数】
eg:
storm jar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcountTop;
storm jar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcountTop 192.168.2.191 40000 analyse;
#提交storm-starter.jar到远程集群,并启动wordcountTop拓扑。

[root@master storm-0.8.1]# bin/storm jar ulib/taosy_analyse_fat.jar  com.tongrong.taoshiye.shop.Si
ngle.SingleTopology analyse-taobao-shop-single
说明:
[root@master storm-0.8.1]# ->storm的home目录
bin/storm jar ->执行jar命令
ulib/taosy_analyse_fat.jar ->storm jar包的存放位置
com.tongrong.taoshiye.shop.Single.SingleTopology ->拓扑入口类,main函数
analyse-taobao-shop-single ->main函数参数

 
2、显示当前的Topologies列表
 
命令格式:storm list
 
显示如下:
Topology_name    Status     Num_tasks     Num_workers     Uptime_secs
-------------------------------------------------------------------
--------------------------
wordcount         ACTIVE        26                       3                 1204740 
data                   ACTIVE        26                       1                 1205136 
exclamation       KILLED         0                        0                 1226857
 
 
3、启动nimbus后台程序
命令格式:storm nimbus

启动supervisor后台程序
 命令格式:storm supervisor

4、启动drpc服务
命令格式:storm drpc

5、启动ui服务
命令格式:storm ui

6、启动REPL
REPL — read-evaluate-print-loop。
虽然clojure可以作为一种脚本语言内嵌在java里面,但是它的首选编程方式是使用REPL,这是一个简单的命令行接口,使用它你可以输入你的命令,执行,然后查看结果, 你可以以下面这个命令来启动REPL:
命令格式:storm repl
 
REPL:“读取-求值-输出”循环英语Read-Eval-Print Loop,简称REPL)是一个简单的,交互式的编程环境。这个词常常用于指代一个Lisp的交互式开发环境,但也能指代命令行的模式和例如 APL, BASIC, Clojure, F#, Haskell, J, Julia, Perl, PHP, Prolog, Python, R, Ruby, Scala, Smalltalk, Standard ML, Tcl,Javascript 这样的编程语言所拥有的类似的编程环境。这也被称做交互式顶层构件(interactive toplevel)。

“读入-求值-输出”循环 的名字来自于以下几个Lisp用来实现这种机制的内置函数:

  • 读入函数接收一个来自于用户的表达式,将其解析成数据结构并存入内存。例如,用户可能会输入一个s-表达式 (+ 1 2 3),这句活会被解析成一个包含四个元素的链表。
  • 求值函数 负责处理内部的数据结构并对其求值。在Lisp中,求一个以函数名开头的s-表达式意味着对接下来的参数调用那个函数。所以函数"+"被在参数1 2 3上调用,产生结果6
  • 输出函数接受求值结果,并呈现将其给用户。尽管当前的结果“6”并不具有复杂的格式,但如果是一个较为复杂的表达式,那么它将会被精心处理,以便于更方便地被理解。

REPL使得探索性的编程和调试更加便捷,因为“读取-求值-输出”循环通常会比经典的“编辑-编译-运行-调试”模式要更快。

 
7、打印本地配置
命令格式:storm localconfvalue 【配置参数关键字】
例如:storm localconfvalue storm.zookeeper.servers
根据指定参数打印本地配置的值。

8、打印远程配置
命令格式:storm remoteconfvalue 【配置参数关键字】
例如:storm remoteconfvalue storm.zookeeper.servers
根据指定参数打印远程配置的值。

9、执行Shell脚本
命令格式:storm shell resourcesdir command args

10、打印CLASSPATH
命令格式:storm classpath
 
11、显示版本号
命令格式: storm version
 
分享到:
评论

相关推荐

    DOS命令的使用-常用

    通过以上内容的学习,我们可以了解到DOS命令的基本使用方法,以及Linux系统的基础知识和常用命令。此外,对于大数据领域的学习者来说,掌握分布式系统的基本原理以及Hadoop、Storm、Spark等关键技术框架是非常重要的...

    Data-Storm-2.0--Access-Denied

    Jupyter Notebook是数据科学家和开发者常用的一种工具,用于编写和运行Python代码,展示数据分析和结果。如果在Jupyter Notebook中遇到"Access Denied",可能是由于文件权限设置不当,或者用户试图访问的资源在...

    博达设备常用配置命令

    ### 博达设备常用配置命令解析 #### 1. 登录配置 - **命令**: `DB9ӿ(2/3/56/5/4 ձ115200û/:admin/admin籩ƣ` - **解析**: - `DB9ӿ(2/3/56/5/4`:这一部分似乎是串口设置的部分指令,但给出的信息不够完整,...

    05-端口相关配置命令.pdf

    以上知识点涵盖了配置网络设备端口的常用命令,对于网络工程师来说,了解并熟练运用这些命令对优化网络性能、提高网络可靠性至关重要。配置时应该根据实际网络环境和需求来选择适当的命令参数,以确保网络设备的高效...

    php-storm-settings:PHP风暴设置

    - **Composer Integration**: 集成 Composer 管理依赖,可自动加载类和执行 Composer 命令。 - **Xdebug**: 配置 Xdebug 用于调试,设置断点、步骤执行、查看变量值。 ### 4. **版本控制系统** - **VCS Integration...

    Storm在Linux集群上运行.docx

    Idea是一个常用的Java集成开发环境,它支持Maven项目管理。根据提供的描述,项目是一个名为"AccDuplicateCheck"的Maven工程,包含必要的Storm依赖。在`pom.xml`文件中,可以看到项目依赖了以下关键库: 1. `storm-...

    精品专题(2021-2022年收藏)Cisco设备配置命令.docx

    本篇将深入解析Cisco设备配置的常用命令,包括模式切换、配置查看、中断操作以及流量限制等方面。 一、模式切换 在Cisco设备上,操作通常涉及以下四种模式: 1. 用户模式(Router>):默认登录状态,可执行有限的...

    Storm实战培训教程.pptx

    6. Storm常用命令: - 常见的命令包括提交Topology、杀死Topology、查看Topology状态、调整Topology的并行度等,这些操作可以通过命令行工具storm或Storm UI完成。 7. Storm编程接口: - 开发者使用Java、Python...

    Linux常用命令

    ### Linux常用命令详解 #### 一、文件命名规则 在Linux系统中,文件名的命名遵循一定的规则: 1. **除了“/”之外,所有的字符都合法**:这包括字母、数字以及大多数特殊符号。 2. **有些字符最好不用**:如空格...

    storm入门.pdf

    书中的附录部分则提供了Storm客户端的安装指南、常用命令、Storm集群的安装与部署方法,以及如何运行书中的示例程序。 本书的翻译者提到,通过翻译这本书,他不仅希望能够帮助读者了解Storm,也希望自身的技术能力...

    交换机常用命令[参照].pdf

    "交换机常用命令" 一、交换机简介 交换机是一种计算机网络设备,用于连接和转发数据包。根据形状和结构,交换机可以分为Box型和Chassis型。Box型交换机,俗称盒式交换机,具有机箱、扩展模块等组成部分。Chassis型...

    zeromq-3.12.5.zip

    在Linux环境中,构建和部署分布式计算系统时,Storm是一个常用的选择,它是一个开源的流处理框架,用于实时数据处理。这个压缩包"zeromq-3.12.5.zip"包含了与Storm集群安装相关的零MQ(ZeroMQ)库,版本为3.12.5。零...

    iSpirit3224G-用户操作手册V1.pdf

    - 用于快速显示常用命令或帮助信息。 **1.5 历史命令** - 命令历史记录便于重复执行之前的命令。 - 通过上下箭头键在历史命令中切换。 #### 二、系统管理配置 **2.1 系统安全配置** - **2.1.1 多用户管理控制...

    log4j+flume+kafka+storm

    在集成Log4j与Flume的过程中,Avro Source是一种常用的方式。Avro Source允许远程客户端通过网络接口发送数据到Flume Agent。在这个场景中,Flume版本为1.5.2。 **步骤一:配置Flume** 首先需要对Flume的配置文件`...

    大数据课程体系

    - **Storm常用组件和编程API**: - **Topology**:拓扑是Storm中的核心概念之一。 - **Spout**:数据源。 - **Bolt**:数据处理逻辑。 - **Storm分组策略(streamgroupings)**:配置不同的数据分组策略。 - **使用...

    大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南

    HDFS 常用 Shell 命令 HDFS Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 Hive Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区...

    命令提示符大全命令提示符大全命令提示符大全

    根据提供的标题、描述、标签及部分...以上是基于给定部分的内容所整理出来的命令提示符大全中的常用命令及相关知识点,涵盖了系统管理、网络工具、文件管理等多个方面。这些命令对于日常维护和解决问题有着重要的作用。

    【Storm】二、Storm集群部署

    Storm集群的常用操作命令 Storm集群的进程及日志查看 1、集群部署的基本流程  集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群。  注意:所有的集群上都需要配置hosts  vi /etc/...

    大数据课程体系.docx

    - **Storm常用组件和编程API**:介绍Topology、Spout、Bolt等核心组件的使用方法。 - **Storm分组策略(stream groupings)**:解释不同的数据分发策略,如shuffle grouping、fields grouping等。 - **使用Storm开发...

    分布式集群技术.pdf

    Linux 的常用命令是分布式集群技术的基础,常用命令的介绍、常用命令的使用和练习等内容将为读者提供了 Linux 命令的基础知识。 Linux 编辑器是分布式集群技术的基础,VI、VIM 编辑器的介绍、常用快捷键等内容将为...

Global site tag (gtag.js) - Google Analytics