一:安装JDK.
下载地址:地址一 地址二
配置java环境变量 JAVA_HOME、Path、CLASSPATH三个值分别为(按照自己安装状况设置,此处供参考):
D:\java\jdk17
%JAVA_HOME%/bin;%JAVA_HOME%/jre/bin
.;%JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/tools.jar (要加.表示当前路径)
二:安装 Python
这是为了测试安装效果,我们将部署 storm-starter project案例中word coun程序,用的是python写的multi-lang bolt,使用python 2.7.6,安装路径在:
C:\Python27\
三:安装并运行ZooKeeper
Download Apache Zookeeper 3.3.6 ,解压配置:
> cd zookeeper-3.3.6 > copy conf\zoo_sample.cfg conf\zoo.cfg > .\bin\zkServer.cmd
四:安装Storm
Storm的windows官方版还没有释放,here.下载,源码here下载
配置Storm环境变量
Storm需要STORM_HOME和JAVA_HOME,比如
STORM_HOME为
C:\storm-0.9.1-incubating-SNAPSHOT-12182013\
在PATH中加入:
%STORM_HOME%\bin;C:\Python27\Lib\site-packages\;C:\Python27\Scripts\;
PATHEXT加入
.PY
此处与参考文章略有不同,下图是参考文章给出的配置
JAVA_HOME已经在安装JDK时手动配置了环境变量,而Python好像是默认自动就会配置好环境变量的,
我的Python目录下没有Scripts文件夹,暂时这样配置就可以了,不影响下面的使用。
五。启动Nimbus, Supervisor, and Storm UI Daemons
Nimbus
> cd %STORM_HOME% > storm nimbus
Supervisor
> cd %STORM_HOME% > storm supervisor
Storm UI
> cd %STORM_HOME% > storm ui
浏览器打开http://localhost:8080/ 可看到Storm运行。
六:部署Word count
部署这个jar在本地:
> storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology WordCount -c nimbus.host=localhost
如果你刷新 Storm UI页面,会看到 “WordCount” topology显示列出,点按链接确认它处理数据。
遇到的问题
Storm JAVA_HOME is incorrectly set.
解决办法:
在环境变量中添加。
或者在storm中的bin文件下有一个storm-config.cmd,使用文本打开,查询JAVA_HOME
其中
if not defined JAVA_HOME (
set JAVA_HOME=D:\0915\jdk1.6.0_10
)
更改这里的set JAVA_HOME的路径,其路径是你存放java虚拟机的地址。
jdk路径不能有空格
http://blog.csdn.net/cauchy8389/article/details/39586763
公司要求搭建Storm平台,用于对Storm平台的实时流处理做评估。任务交给了我。虽然说只是本地模式,但是却花了我好几天的时间。各种网上发帖问,各种向大牛问。最终还是解决了。再此记录下过程吧。
下载Storm,地址为https://github.com/nathanmarz/storm,Storm用于将JAR包和Topology的主类提交给nimbus。本地模式我们只需记住一个命令:storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies storm.starter.WordCountTopology
下载strom-starter,地址为https://github.com/nathanmarz/storm-starter,在本地模式跑通里面的WordCountTopology例子。
下载Maven,地址为http://maven.apache.org/download.html,用于对storm-starter中例子的所有代码以及所以来的JAR包进行打包。
1 下载好strom,将storm的bin目录放到PATH路径下。并将bin目录下的storm脚本设置成可执行模式。
2 开始安装maven. 下载好maven,将bin目录放到PATH路径即可。
3 进入storm-starter的文件夹,里面有一个m2-pom.xml的文件,这个文件里面记录着storm-starter所依赖的jar包,jar包由maven仓促管理。运行mvn -f m2-pom.xml package命令。将会执行几分钟,因为会下载一些依赖的Jar包。。如果出现有些jar包不能下载。那就需要自己手动下载然后发到~/.m2/repository文件夹下。~号,代表的是当前用户的目录。windows下是C:\Documents and Settings\your_host_name\.m2\repository下。linux运行一下cd ~ && pwd命令,然后在去找.m2文件夹即可。
4 执行完上步骤后,会在storm-starter文件夹下生成一个target目录,里面生成两个Jar包。一个是storm-starter-0.0.1-SNAPSHOT.jar,另一个是 storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar,然后在此目录运行storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology这个命令就会在本机模式下,用线程模拟storm平台执行topology。执行结果显示无误的话,输出会有10000多行。
我在SUSE下完成了本地模式的运行。现在想想这个过程真的没什么,但是开始跑程序例子的时候就是出现了各种问题。命令不懂;怎样的输出才是正确的;为什么跑通的人说起来就是这么简单,但是自己就是出现各种问题;可见,自己还是个新手,实践的少,对于出现的问题不知道如何解决。总结起来四句话,外事问google,内事问baidu,有事问大牛,没事看大牛的blog。
接下来的工作就是部署一个storm集群,虽然是一个小集群,但是对于初次可以尝试配置几台服务器的我,也挺令人振奋的。
http://m.blog.csdn.net/blog/joeyon/41595527
相关推荐
storm单本安装及集群安装配置,详情见文档,另需要注意storm.yaml的配置。
Windows系统虽然也可以安装,但可能会遇到更多的配置问题。你需要在系统中安装Java Development Kit (JDK) 8或更高版本,因为Storm依赖于Java环境。 安装步骤如下: 1. **下载Apache Storm**:访问Apache Storm的...
在实际操作中,更标准的做法可能是将DLL文件复制到系统目录(如C:\Windows\System32)或者程序的安装目录,但这可能需要管理员权限。 标签“Storm.dll”进一步强调了问题的核心,即这个特定的动态链接库文件。DLL...
在安装 Apache Storm 之前,你需要确保你的环境已经配置了 Java 开发环境,因为 Storm 依赖于 Java 运行时。推荐的 Java 版本通常是 Java 8 或更高版本。下载安装包后,解压到你选择的目录,然后根据你的操作系统...
3. `Ascend.Windows.Forms.dll`:这可能是一个自定义的UI控件库,扩展了.NET框架中的Windows Forms控件,提供了更丰富的用户界面元素。 4. `xmldiffpatch.dll`:这是一个XML差异比较和修补的库,可能用于比较和合并...
Storm Worm Process Injection from the Windows Kernel.
《Storm the Gates: Windows API 多线程编程详解》 Windows API 多线程技术是计算机编程中的一个重要概念,尤其在开发高效、响应迅速的应用程序时,多线程显得尤为重要。1986年,微软通过一个名为"Storm the Gates...
风暴维基使用Storm分析Wiki流,并将结果显示在... 我在文件夹C:\ MAVEN_HOME \ apache-maven-3.3.3中安装了Maven 从Windows安装Redis从安装Windows的Redis。 我在文件夹C:\ redis_home \ Redis-64.2.8.19中安装了
标题中的"StormPlayer.rar"指的是一个名为"StormPlayer"的压缩包文件,通常在Windows操作系统中,.rar格式的文件是使用WinRAR等压缩工具创建的,用于存储多个相关文件或程序。在这个案例中,"StormPlayer"可能是一个...
1. `storm.dll`:这是星际争霸的核心库文件,负责游戏的图形渲染、音效处理等核心功能。 2. `starcraft.exe`:游戏主程序,启动游戏时运行的可执行文件。 3. `StarEdit.exe`:星际争霸的地图编辑器,用于创建和修改...
- 如果发现VisualVM界面较为简陋或缺少功能,可以在工具栏中选择“更新插件”选项下载安装所需插件。 通过上述两个部分的学习,我们不仅了解了如何使用JMX工具进行Storm集群的监控,还学会了如何利用VisualVM进行更...
这意味着无论你是在Windows、Linux还是macOS上,只要Python版本在2或3之间,都可以安装并使用AMQP Storm。 **知识点四:ZIP压缩格式** ZIP是一种广泛使用的文件压缩格式,可以将多个文件和目录打包到一个单一的压缩...
这种更新可能包含功能改进、性能优化、安全修补、新的内容发布等,而“storm.exe”则可能是一个完整的安装程序,用于将所有更新内容部署到用户的设备上。用户需要根据“readme.txt”文件的指引,了解如何安全地安装...
WebService和WCF(Windows Communication Foundation)是两种不同的服务架构技术,它们允许应用程序通过网络进行通信。在开发和维护这些服务时,测试工具扮演着至关重要的角色,确保接口功能正常且性能良好。"Storm....
在本地计算机(或GitK)上安装Windows Github。 在您的本地计算机上登录Windows Github,然后克隆github项目。 通过git克隆风暴分析存储库,或将内容复制到硬盘上。 将startup_demo.m复制到默认的Matlab工作目录中。...
【作品名称】:基于JavaWeb+Mysql 实现storm1.2标准的在线学习平台 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】:...
1. **复制暴风影音的OCX组件**:从暴风影音的安装目录下(baofeng\stormplayer\core\codecs\flash.ocx),将“flash.ocx”文件复制到“C:\Windows\System32\macromed\”目录下,覆盖原有文件。然后重新尝试安装...
标签"Stormsetup"再次强调了这个压缩包与Apache Storm安装有关。在实际操作中,用户可能需要解压"Stormsetup.zip",然后运行"Stormsetup.exe"来开始安装流程。安装后,他们可以利用Storm的强大功能,比如通过Trident...
风暴统计 基于flume-kafka-storm的流式实时计算实现的案例 1.在Windows平台上构建flume架构,修改属性文件:配置agent数据源,配置... 3.ide开发工具上构建拓扑,单机运行可以不用安装storm,分散则需要进行额外的配置
大数据自动化部署,包括自动化部署hadoop、hive、hbase、spark、storm等等一系列组件BigData_AutomaticDeploy大数据自动化部署,包括自动化部署hadoop、hive、hbase、spark、storm等等一系列组件自动化部署参考资料...