`
ajax
  • 浏览: 253652 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论
文章列表
测试环境: 一个namenode 一个secondary namenode,以实现namenode的HA 三个datanode节点 两个RM,以实现Resource Manager的HA 共部署了7个虚拟机,操作系统是Ubuntu 14. 所有虚拟机是在本机加载,所以为了节省资源,Zookeeper分别部署在三个datanode节点上。   Hadoop的sbin目录下的start-all.sh已经不建议使用,代替的是单独启动各个命令,比如start-dfs.sh, start-yarn.sh. 但是从学习的角度看,使用start-all.sh,可以直接看出正确的启动顺序。 ...
之前的一篇博客说到,公司请的大数据培训师那简直一个差啊,就差直接说自己是骗子。忍无可忍之下,搭建了个环境,简单跑了一下,然后把HDFS的主要代码翻了一遍。不得不说,设计的真不错。不过据说当年的初期的版本代 ...
1. 在/etc/profile里更新了JDK的版本,因为Hadoop2.7只能使用JDK1.7,更新后,需要即时更新,可以使用命令>. /etc/profile.   2. hadoop 2.7 的Eclipse plugin没有测试成功,但是Hadoop官方网站已经提供了开发工具,实际上也是一个Eclipse的plugin(http://hdt.incubator.apache.org/download.html)   3. 几个网站对配置Hadoop2 比较有用: http://www.aboutyun.com/thread-11909-1-1.html http:// ...
2015年由于对公司请的外部的大数据讲师的水平实在不敢恭维,所以就准备搭个环境熟悉一下环境,进步研究一下源代码。所以在本机搭了几个虚拟机,分别对应namenode,datanode(3),secondarynamenode。当时部署的时候使用的是1.0的稳定版本,但是各种坑。耐着性子一点点调试下,也就顺手记在一个word文档里。最近忽然有写博客的念头,就先把手头上有的东西先发上来。    1. 如果不先用hadoop namenode -format格式化HDFS的话,如果后面启动所有的服务(start-all.sh),HDFS就启动不起来,表现为: a. 如果用netstat –a查 ...
前面一篇文章分析了servlet里init方法,包括init方法本身以及调用的方法源代码,这篇文章继续,按照servlet的生命周期,接下去会调用servlet的service方法:   @Override public void service(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { final HttpServerHelper helper = getServer(request); if (helper != nu ...
终于到了完结篇,也体会到写书人的痛苦,虽然我仅仅是写了几十篇博客。完结篇结合源代码分析Restlet的运行流程,也算是完美的结束。当然了,也不是说从此不再关注Restlet,后续如果有新的东西出来,比如现在2.0的版本就快re ...
上篇文章我给出了如何在客户端和服务器端使用Restlet实现表示的压缩,这一篇将结合源代码看看Restlet的API是如何支持压缩的。   首先看解压缩,开发中的代码:   Representation rep = new DecodeRepresentation(response.getEntity()); String tes ...
在进入代码部分之前,还是贴出<<RESTful Web Service>>里对压缩的说明,毕竟这是本非常不错的书,而且书上说的比较清晰明了。   象XML文档这种文本格式的表示可以又很大的压缩率。HTTP客户端可以请求一个压缩版的表示,并为用户进行 透明的解压。其工作原理是这样的:客户端在发送HTTP请求时,在Accept-Ecoding包头里指出客户端支持那些 压缩算法。Accept-Encoding抱头又两个标准的值:compress和gzip GET /resource.html HTTP/1.1 Host: www.example.com Acc ...
<<Restful Web Service>>这本书再第8章REST和ROA最佳实践的事务章节对如何实现事务是这么写的: 可以把简单的事务暴露为批量操作,或者采用重载的POST,不过还有一种做法,你猜对了,就是事务本身暴露为资源。   并结合一个例子给出具体的操作步骤描述: 比如把资金从支票帐户转移到储蓄帐户,比方说“支票帐户”暴露于/accounts/checking/11处, “储蓄帐户”资源暴露于/accounts/saving/55. 这两个帐户都有50余额。 首先通过向一个事务工厂资源发送POST请求来创建事务: POST /tran ...
说明:以下部分文字说明摘自<<Restful Web Service>>. 条件GET机制令客户端可以在表示没有发生变化时,只使用很少的带宽。而缓存机 制使得客户端可以根本不必要发送第二次GET请求。 其基本原理是: 客户端在做HTTP GET或HEAD请求时,可以把服务器返回的HTTP响应报头缓存起来;这样,当客户端再次发 出相同的GET或HEAD请求时,可以直接采用缓存中的文档,而不必实际发出请求。缓存机制是透明的,用 户要客户端发出请求,但是客户端并没有实际发出HTTP请求,并接收来自服务器的响应,而是把缓存中的 响应返回给用户,仿佛刚从服务器得到的一 ...
这个系列之前已经有一篇文章写如何获取参数值,看Restlet实战(十二)获取参数值 ,在那篇文章中,提到了三种类型获取值。  1. 从Web Form中获取值  2. 从查询中获取值  3. 从Cookie中获取值   而本篇文章我翻译网上的一篇文章也是涉及到获取和设置参数值,算是一个补充,原文见这里                                                         Restlet新手常见问题解答   我已经用Restlet几年了,因此我有这个机会去引导一些人去用它。当人们开始用的时候,总有一些问题。我把问题以及答 ...
如果你进来是因为想看Restlet相关的文章,那么欢迎你加入restlet圈子,里面也有不少好的内容,地址是http://restlet.group.iteye.com/
先普及一下什么是条件GET,以下摘自<<Restful Web Service>>:   条件HTTP GET(conditional HTTP GET)既能几声服务器带宽,又能节省客户端带宽,作用是避免服务器 重复向一个客户端发送相同的表示。它是通过两个响应报头(Last-Modified和ETag)和两个请求报头 (IfModified-Since和If-None-Match)实现的。 这是无法靠客户端或服务器单方面解决的,若客户端在获取一个表示后,不再与服务器联系,那么该客户 端将无法获知服务器上的表示是否有变化。由于服务器并不保存应用状态,所以它也 ...
在Restlet实战(七)-提交和处理Web Form 中提到,表单(form)的动作(action)仅仅支持GET和POST,所以那里我们如果要通过form提交修改的数据,不得不进入HTTP标准方法POST对应的方法执行。这实际上是不得已而为之的做法。当然,DELETE也不支持,也会调用POST方法。那么有没有什么办法可以访问到真正的PUT和DELETE标准方法对应在Restlet中要执行的方法呢?   是的,客户端可以通过“用重载的POST(overloaded POST)”来仿造PUT和DELETE的办法来绕过此限制。正如<<Restful Web Service>& ...
论坛上不少关于项目管理工具的文章,所以,也就又很多管理辅助工具被提到,记得刚工作的时候第一次用到Bugzilla,感觉自己一步迈进了小康了. 不但可以定义bug严重级别,bug修复状态等等,还可以结合mail通知,很是方便。可 ...
Global site tag (gtag.js) - Google Analytics