`
dengyin2000
  • 浏览: 1229345 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

JPPF(Java Parallel Processing Framework )尝鲜

阅读更多
前几天在javaeye的news频道看到这个新闻JPPF 1.7发布:网格并行处理框架,因为公司也在使用hadoop做些东西(其中也遇到一些问题,感觉文档太少)。所以想看看这个东西跟hadoop的区别。

http://sourceforge.net/project/showfiles.php?group_id=135654&package_id=149022下载jppf-driver-bin-1.7-0599-20081217.zip,jppf-node-bin-1.7-0599-20081217.zip和JPPFQuickStart-1.7.0599-20081217.zip。

我们有2台linux机子lab1和lab4,还有一台windows机子lab5.我们把lab1做server,lab4和lab5做node。

在运行之前首先确定有安装ant(下载ant解压,设置好path)。还有需要把端口暴露出来。 执行
sudo vi /etc/sysconfig/iptables

加上以下的代码:

-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 11111 -j ACCEPT
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 11112 -j ACCEPT
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 11113 -j ACCEPT
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 12001 -j ACCEPT
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 13001 -j ACCEPT
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 11198 -j ACCEPT


然后restart network
sudo /etc/init.d/network restart


设置启动server(好像jppf叫server为drvier),在lab1上解压jppf-driver-bin-1.7-0599-20081217.zip,然后运行
ant run.driver


如果你看到一下信息则说明server已经跑起来了。

引用
Buildfile: build.xml

run.driver:
     [echo] starting the JPPF driver
     [java] Class Server initialized - listening on port 11111
     [java] Client Server initialized - listening on port 11112
     [java] Tasks Server initialized - listening on port 11113
     [java] JPPF Driver management initialized
     [java] JPPF Driver initialization complete


在lab2和lab5上解压jppf-node-bin-1.7-0599-20081217.zip,找到config/jppf-node.properties文件,把jppf.server.host参数设成你的server的ip地址。然后运行
ant run.node
,出现下面的信息则说明node已经启动并且连接上sever了。
Buildfile: build.xml

run.node:
     [java] JPPFClassLoader.init(): attempting connection to the class server
     [java] JPPFClassLoader.init(): Reconnected to the class server
     [java] PeerNode.init(): Attempting connection to the JPPF driver
     [java] PeerNode.init(): Reconnected to the JPPF driver
     [java] Node sucessfully initialized


在windows上解压JPPFQuickStart-1.7.0599-20081217.zip,这是一个eclipse项目, 你可以用eclipse导入,修改config/jppf-client.properties文件的HelloServer.jppf.server.host为lab1的ip,jppf.local.execution.enabled为false禁止本地执行。 把org.jppf.helloworld.HelloWorldRunner这个类中间注释的代码去掉。 然后执行runHelloWorld.cmd, 这时就能看到输出了

[client: driver-1 (192.168.1.221:11198)] ClassServerDelegate.init(): Attempting connection to the class server
[client: driver-1 (192.168.1.221:11198)] ClassServerDelegate.init(): Reconnected to the class server
[client: driver-1 (192.168.1.221:11198)] : Attempting connection to the JPPF task server
[client: driver-1 (192.168.1.221:11198)] : Reconnected to the JPPF task server
********** Results: **********
Hello, World
Hello, World (annotated, hello message, 1)
Hello, World (annotated static, hello message, 2)
Hello, World (annotated constructor, hello message, 3)
java.lang.IllegalAccessException: Class org.jppf.client.taskwrapper.PrivilegedMethodAction can not access a member of class org.jppf.helloworld.HelloWorldPojo with modifiers "protected"
	at sun.reflect.Reflection.ensureMemberAccess(Reflection.java:65)
	at java.lang.reflect.Method.invoke(Method.java:588)
	at org.jppf.client.taskwrapper.PrivilegedMethodAction.run(PrivilegedMethodAction.java:59)
	at java.security.AccessController.doPrivileged(Native Method)
	at org.jppf.client.taskwrapper.PojoTaskWrapper.execute(PojoTaskWrapper.java:100)
	at org.jppf.client.JPPFAnnotatedTask.run(JPPFAnnotatedTask.java:72)
	at org.jppf.server.node.NodeTaskWrapper.run(NodeTaskWrapper.java:84)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
	at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
	at java.util.concurrent.FutureTask.run(FutureTask.java:138)
	at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
	at java.lang.Thread.run(Thread.java:619)

Hello, World (pojo static, hello message, 5)
Hello, World (pojo constructor, hello message, 6)
null
Hello, World (callable)


要注意的是 如果你的java.exe放在有空格的目录中时,需要用引号括起JAVA_HOME.

结论:JPPF还是非常容易使用的(相对于hadoop来说)。 hadoop还是比较抽象的。 不过hadoop还有分布式文件系统这个东西。 不过感觉目前hadoop比JPPF成熟。 JPPF没什么成功案例。 在它官网列出2个例子。
http://www.jppf.org/testimonials.php

JPPF还是不错的一个东西。 准备用它来做些事情。


今天发现一个问题jppf client默认是使用广播的形式找server,如果你的server没有使用广播的形式 你需要改jppf-client.properties, 默认是true的。

jppf.discovery.enabled = false
6
0
分享到:
评论
4 楼 yinjunlove 2014-07-15  
3 楼 bcw104 2013-03-15  
向2008年就已经开始研究hadoop的人致敬
2 楼 rainbow686 2008-12-24  
顶顶顶,牛人啊
1 楼 chenxibang 2008-12-23  
老大,很强啊,技术前峰

相关推荐

    Java Parallel Processing Framework用户手册

    Java Parallel Processing Framework(JPPF)是一个开源的Java框架,专为分布式并行计算而设计。它允许开发者利用多核处理器、集群以及云计算资源来执行大量计算任务,从而提高应用程序的性能和响应速度。JPPF的核心...

    网格计算框架JPPF1.5版

    网格计算框架JPPF,Java Parallel Processing Framework,即java并行处理框架.一个开放源码的网格计算框架,它可以在一个分布执行环境中 同时运行多个java应用.这是他的最新版1.5版

    JPPF的API(chm)

    Java Parallel Processing Framework(JPPF) 是一个优秀的开源的基于Java的并行处理框架。这是它的API手册,因为网站上面不提供apidoc的下载,所以我自己就做了个chm,方便大家使用!

    JPPF Server测应用扩展

    JPPF(Java Parallel Processing Framework)是一个开源的云计算和分布式计算框架,它允许开发者将计算任务分解成小单元,然后在分布式环境中并行处理。在JPPF中,服务器(Server)扮演着核心角色,负责管理和调度...

    JPPF helloword

    JPPF(Java Parallel Processing Framework)是一个开源的网格计算框架,它允许开发者将Java应用程序在分布式环境中并行执行,从而利用多核处理器和集群的计算能力。"JPPF HelloWorld"通常是一个入门示例,用于演示...

    JPPF节点(node)测应用扩展

    JPPF(Java Parallel Processing Framework)是一个开源的分布式计算框架,它允许开发者将计算任务分布到多台计算机上,以实现高性能计算。JPPF通过节点(node)和服务器(server)来构建分布式计算环境,其中节点是...

    jppf-client-3.3.3.zip

    JPPF(Java Parallel Processing Framework)是一个高性能计算平台,它允许开发者将计算密集型任务分布到多核、多节点的计算环境中,以实现并行处理和负载均衡。JPPF客户端是JPPF框架的一部分,用于连接到JPPF服务器...

    JPPF安装和使用指南

    Java Parallel Processing Framework(简称JPPF)是一个优秀的开源并行处理框架,它旨在简化并行计算过程,使得开发者和系统管理员能够快速部署并运行分布式计算任务。根据文档中的描述,JPPF的核心理念是“易于使用...

    基于JPPF的分布式并行检索系统研究.pdf

    JPPF(Java Parallel Processing Framework)框架是一个易于扩展且高效执行并行任务的开源框架。它允许开发者通过简单的配置创建一个并行环境,而且在管理执行队列和进行负载均衡方面有其独到之处。这种框架的优势...

    jppf-admin-4.1.1.zip

    【标题】"jppf-admin-4.1.1.zip" 涉及的知识点主要集中在JPPF(Java Parallel Processing Framework)平台的管理工具上。JPPF是一款开源的分布式计算框架,它允许开发者利用多核CPU和集群资源进行大规模并行计算。...

    基于JPPF的异构分布式MTH1虚拟筛选系统.pdf

    文章主要探讨了如何利用JPPF(Java Parallel Processing Framework)分布式并行框架,结合Autodock Vina软件,设计一个跨平台、兼容性良好的肿瘤药物虚拟筛选系统。这一系统的主要目标是加速从大规模药物分子数据库...

    JPPF-3.3.2

    JPPF(Java Parallel Processing Foundation)是一个开源的Java分布式计算框架,版本3.3.2是其在2019年发布的一个稳定版本。该框架允许开发者将计算密集型任务分散到多个计算节点上,以实现并行处理和负载均衡,从而...

    jppf-user-guide

    - **目标读者**:本手册适用于那些希望利用Java Parallel Processing Framework (JPPF)进行并行处理任务的开发人员和技术团队。 - **先决条件**:读者需具备一定的Java编程基础以及对分布式计算概念有一定的了解。 -...

    Java下P2P应用程序开发方法

    2. JPPF(Java Parallel Processing Framework):专注于分布式计算,允许开发者构建可扩展的P2P应用程序,尤其适合大数据处理。 3. JMF(Java Media Framework):虽然主要针对多媒体处理,但其流媒体能力也可用于...

    java面试题

    1. **JPPF.pdf**:JPPF(Java Parallel Processing Framework)是一个开源的网格计算框架,用于构建分布式应用程序。这份PDF可能包含JPPF的使用教程、原理介绍或者在面试中如何展示对分布式计算的理解。学习和了解...

    一个java写的p2p的程序

    在Java中,有几种流行的P2P框架可以加速开发过程,例如JXTA(Java XML Technology for the Peer-to-Peer Applications)和JPPF(Java Parallel Processing Framework)。这些框架提供了用于节点发现、数据交换和...

    JPPF:开源网格计算解决方案-开源

    JPPF(Java Parallel Processing Framework)是一个全面的开源网格计算框架,专为在分布式环境中执行计算密集型任务而设计。它提供了一个灵活、可扩展的平台,允许开发者将应用程序分解为可并行处理的任务,从而最大...

    兰州大学 云计算为科研加速.pdf

    同时,文章还介绍了JPPF(Java Parallel Processing Framework)这一云计算框架。JPPF是开放源代码的分布式计算框架,它可以利用多种计算机资源进行任务分配和执行,大大提高了计算效率。JPPF支持跨多种平台,包括...

    UserManual.rar_P2P编程_Java_

    Java提供了丰富的库和框架,如JXTA(Java_EXTensible_Technology_Architecture)、JPPF(Java Parallel Processing Framework)等,帮助开发者构建P2P系统。这些框架通常包括节点发现、消息传递、资源管理等功能,...

    JPPF:开源网格计算解决方案

    开源网格计算解决方案这是JPPF源代码的所在地。 其他服务可以在以下位置找到:JPPF模块: :包含构建脚本,网站和相关模板,以及作为LibreOffice文本文档的文档 :桌面(基于Swing)管理控制台的代码和资源 :Web...

Global site tag (gtag.js) - Google Analytics