Djava.sohu.com
- 浏览: 64608 次
- 性别:
- 来自: 上海
-
最新评论
-
一说书先生：
快学Spark 2.0(新特性、含真实项目、纯Scala语言开 ...
Spark学习-关于Spark的开发语言Scala -
llhdf：
现在我们发布了 windows 64 位系统下sparkid ...
Spark的学习2-IDE -
nuan268：
你好，不知能否给一份代码参考下呢，邮箱nuan268@foxm ...
我的Js日志组件 logger for js (log4js)- (2009-10-30) -
hbbbs：
Djava.sohu.com 写道回9 楼 hbbbs:比co ...
我的Js日志组件 logger for js (log4js)- (2009-10-30) -
Djava.sohu.com：
回9 楼 hbbbs:比console.log方便的地方包括： ...
我的Js日志组件 logger for js (log4js)- (2009-10-30)
文章列表
说到Spark,我一定要先说说Hadoop及Java.
现在我是一个Java开发者,几年前就开始接触和使用Hadoop. 最初的一个项目其实是一个后台并行计算的项目，那时经过选型后，最后决定使用Hadoop,当时是基于几个原因：
1. Apache下的项目质量都是很高的，很多项目都广为Java开发者使用，到今天来看，这个结论也不为过，如(Ant, ActiveMQ, Axis2,CXF,Cassandra, Apache commons, HTTP Server,JMeter,Lucene,log4j,Maven, ...)
2. 有成熟的产品应用(Yahoo 3000台的集群）
3. M/ ...
这几天接触了 OpenStack和Docker - 一个是比较成熟的云平台，另外是一个发展中的，增长很迅速的新云平台，其中的一个问题又引发我的深思。
问题: 云平台与大数据平台Hadoop怎么进行融合？
先说一下云平台的几个概念：计算(Compu ...
开始学习Spark了，先看看Spark能做点什么吧。
最好的方式就是先运行个例子程序。先从Spark网站下载一个运行环境(我的运行环境是Win7, 64bits) 。
我们在官方网站: http://spark.apache.org/downloads.html下载一个版本：
我选 Spark 1.0 + Prebuild for Hadoop 2.3, Link为
http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0-bin-hadoop2.3.tgz
下载解压后，进入到bin目录,运行 run-example.cmd SparkPi 10, ...
当使用Maven构建好项目后，现在要开始学习Spark的设计及具体实现，就是源码了。
在Google上查到的比较多的IDE就是Scala + Eclipse , Scala + NetBeans和Scala + IntelliJ Idea. 因为以前一直使用的Eclipse,所以Scala + Eclipse当然是优选了。
下 ...
这两天开始学Spark, 因此把相应的步骤记录下来.
下载最新的Spark代码,使用maven进行编译在win8(64位）上进行编译：
（参考https://spark.apache.org/docs/latest/building-with-maven.html)
现在Spark主要以Standalone方式或Spark on yarn方式运行，因此在使用maven构建时，使用以下参数
mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -DskipTests clean package
问题1: unzip not found
解决方案： 安装 ...
这一个月来，都在忙大数据处理的项目，主要接触了Hadoop系列，如MapReduce V1, HDFS, Hbase, Hive, Yarn(MapReduce V2) 和 Hyracks,另外一个开源框架，号称速度提升是MapReduce的几倍.
经过一段时间的使用和测试，感觉Hadoop系列已经做得很好，很成熟了,同时又逐渐形成了一个以HDFS,HBase为中心的套生态系统。很多商用公司也花了不少精力去研究，扩展它，我想在不远的将来，Hadoop系列将会成为基础架构的非常重要的部分，所以现在赶快多了解了解吧，你会有些新的发现的。
后面，如果有时间的话，会写一些关于MapRe ...
新装了个Win7,整体感觉还不错，就是有些地方不爽，特和大家分享一下：
1.显示桌面按钮到了右下角.使用太不习惯，于是将xp的显示桌面.scf拷到了win7下,还好，能用。然后把它建了一个快捷方式放在了传统的左下角上，嗯，不错！不过，浪费了我1.5个小时的时间。
2.关了一些没用的服务，结果访问不了服务器的共享目录了，Ping服务器却可以Ping通,把其它服务都检查了一番，也没找出是什么原因。后来，终于在网上查到了一个服务:
TCP/IP NetBIOS Helper,在WindowsXP上关掉这个服务没有什么影响,但Win7却不行了. 我记得NetBIOS好象是用来解析局域区的NetBIO ...
随着产品功能的不断增加,使用的jar包也越来越多,体积越来越大。更新和上传下载时的时间花费也会慢慢增多。现在是要给jar瘦身的时候了,哪些包需要用,哪些包里的哪些类需要用,需要把他们区分开来,对于某个开源框架使用的私有包,可考虑合并,对一些常用的jar包,如记录日志相关的,处理xml文件的包,可以独立放置,以便可以方便升级.
如何才能有效地把不需要的类移除,但又不影响整个包的其它部分的功能,这个问题比较头痛,主要是因为有些类是动态的,不到运行,你是不知道它的类型的。暂时还没有想好怎么做,大家有什么好的想法和做法吗? 欢迎与我一起讨论这个问题。
- 2009-12-04 00:10
- 浏览 940
- 评论(0)
一直在用eclipse+WTP做Java的开发,也见证了WTP直至今天的发展历程.总的来说,
还是不错的,但是在使用过程中,经常会遇到这样或那样的问题,WTP的布署方式也是在不断地优化，不断地改进,不断地有错误出现,不断地修复.
不过因为是做企业应用开发,所以可能考虑更多的是能够提供一个强大的,稳定的开发平台.使用过各种版本的eclipse+WTP,最后还是定位到了WTP-2.0.3的这个版本.为什么选用这个版本呢?
那是有原因的,只有这个版本,才能够很好的支持用户库(User Libraries)的发布,而其它的版本,要不就是填加jar包时出错,要不就是无法发布.一直尝试着新的版本 ...
现在公司的产品已经使用了Ext框架,主要使用了Grid控件,感觉还不错。运行了没几天,问题来了,IE下消耗的内存太大了,一下子消耗了我400M, 好家伙, 真厉害.我的1G的笔记本都吃不消了,赶紧到网上查ExtJs内存泄露的解决方案,还真有。因为是公司使用Ext,所以只能使用2.0.2版,这个下载的patch是2.2版本,但我比较下来,这个patch在2.0.2下也是可能用的.为保险起见,还是对每个需要打补丁的文件,一个一个地比较,打补丁,半天下来,可把我眼精累坏了.还没试打了补丁以后的结果怎么样,又有其它事情了,所以这个暂时先放一放了,过两天测一下,应该是有不少改善,真是庆幸有互联网真 ...
- 2009-11-14 21:22
- 浏览 2137
- 评论(0)
使用SVN已经有很长一段时间了,那段时间里还比较顺畅,没有遇到什么问题.
后来,有的同事反映说有的目录更新不下来,当时没注意.这几天在用更新功能时,
也出现了这样的问题,暂时不知道为什么? 临时的解决办法,就是删除上一级目录,
然后重新下载,这样就可以了,估计是本地svn文件与远程服务器的时间比较上 出了问题?
真是奇怪.
- 2009-11-05 13:49
- 浏览 3769
- 评论(0)
随着接触Ext的时间越来越多,越来越了解,越来越对Ext的设计感到满意。
Ext在很多地方都用到了设计模式,如flyWeight, adapter等.在给我们使用Ext时,
提供了性能的提高,实现的便捷,的确是一个不错的框架,通过它,我也有意识无意识
地去改进产品的设计,真是受益匪浅,强烈建议大家多看看Ext的源码,充分理解它的
设计思想.
- 2009-11-04 19:01
- 浏览 990
- 评论(0)
今天在Web页面布局时遇到一个问题.GridPanel不能自动调整行高 .
页面的布局是这样的:
1.上面一个TabPanel,region属性设为'north'
2.中间有一个GridPanel区域,region属性设为'center'
3.采用BorderLayout布局
4.奇怪的是,GridPanel下面的分页部分看不到,还有一部分数据也被档住了一部分,本想利用BorderLayout自动调整行高的特性,谁知道还不行.
5.我想叫Grid在页面大小调整后,自动调整它的行高,列宽.这在企业应用中是必须的.
还不知道怎么解决,在网上查了一下,也没有找到好的方案, 哪 ...
- 2009-11-02 20:55
- 浏览 4256
- 评论(1)
这两天一直在搞布局管理.虽然ExtJs提供了不少布局管理方式.我觉得最有用的还是BorderLayout。它在应用中,使用的最广泛。比如,在Web开发中的列表页面,上面显示查询条件,下面显示查询数据。在布局上要求上面的查询区域不要占太大空间,下面的数据显示区要自动凋整高度,宽度,这种情况下使用BorderLayout的布局方式就很合适.
使用BorderLayout的步骤也不复杂.大体步骤就是:
1.创建一个Viewport,注意一个窗口只能创建一个Viewport
2.设置它的layout属性为'border'
3.然后把查询区和数据显示区的两个区域放到items里
4.设置查询区 ...
- 2009-11-02 17:22
- 浏览 1271
- 评论(0)
web开发的路,一直就没有平坦过。做过C/S架构的人,都会怀念那段快速开发,快速调试的时代。不过时光不会倒流,社会也会一直发展,所以要适应现在的形式.
我用来开发的笔记本,速度和内容一直都是处于比较落后的水平。没办法,只能从系统的各个部分想办法来节约内存,CPU的占用.能不开的服务一定不开,有些不经常使用的服务,等使用时再启动它,用完后再关掉.开发工具等也选用较轻的,有一定功能的.我以前的一个同事更牛,他就是用EditPlus做开发,然后用Ant部署到tomcat服务器,来完成工作的,真的好强,向他表示敬意!
习惯了使用UltraEdit的日子里,总是为了它的启动速度烦闷 ...
- 2009-10-31 09:10
- 浏览 789
- 评论(1)