`
小网客
  • 浏览: 1249016 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表
背景:       用Hadoop基于Hbase进行数据分析的时候,发现其会自动kill任务,但是job能够正常执行,结果也正确,只是Hbase的压力比较大。 原因:       Hadoop在执行task的时候采用预先计算的方法来加快整个处理过程。具体的就是当所有task都开始运行之后,Job Tracker会统计所有任务的平均进度,如果某个task所在的task node机器配置比较低或者CPU load很高(原因很多),导致任务执行比总体任务的平均执行要慢,此时Job Tracker会启动一个新的任务(duplicate task),原有任务和新任务哪个先执行完就把另外一个kill ...
需求: 有时候需要进行特殊字符串的传递,那么就涉及到编码和转码操作,比如在url中在把url当做参数传递,那么就会出现问题因为多次出现&,这样就需要涉及编码和解码。 实现: 先编码然后在解码 编码: URLEncoder.encode(urlStr,"utf-8");  解码: URLDecoder.decode(encodeStr,"utf-8")  例子如下: String urlStr="http://www.baidu.com/201201/W020120105375132477653.jpg"; ...
背景:request.getParameter()总得到中文乱码   分析:tomcat默认用的字符编码是iso- 8859-1,而jsp页面用的编码是utf-8。所以jsp页面的中文字符是以utf-8的编码模式被转化成字节流的,但是到了后台确实通过iso-8859-1编码被还原的,所以乱码产生了。情形如下: jsp页面:byte[] a=key.getBytes("utf-8"); controller:String b=new String(a,"iso-8859-1"); 这样request.getParameter();获得的b就是乱 ...
有多个server需要监控他们的是否宕机,普通的方式如下: 1.维护一个心跳,如5s,每5s给server发一个数据包,采用ping等方式 2.如果ping不到那么预警报错 缺点: 主动去ping,但是有时候为了安全起见是不开放ping的因此会失败 具体方案: 可以采用zookeeper来替换这种方式 如结点/servers/下面存放的是一些server,如server1的ip为ip1 那么此server对应的结点为 /server/ip1 每个server启动服务的同时注册一个服务到zookeeper集群中去,代码如下: public static void reg ...
Hbase中hbse shell操作如下: scan 'Test',{LIMIT=>10} 在java的api中可以通过过滤器来实现操,作如下: Configuration HBASE_CONFIG = new Configuration(); HBASE_CONFIG.set("hbase.zookeeper.quorum", "XX.XX.XX.XX"); HBASE_CONFIG.set("hbase.zookeeper.property.clientPort", "2181"); hba ...

Oracle Merge into介绍

    博客分类:
  • DB
        MERGE语句是Oracle9i新增的语法,用来合并UPDATE和INSERT语句。 通过MERGE语句,根据一张表或子查询的连接条件对另外一张表进行查询, 连接条件匹配上的进行UPDATE,无法匹配的执行INSERT。 这个语法仅需要一次全表扫描就完成了全部工作,执行效率要高于INSERT+UPDATE。  语法: MERGE INTO [your table-name] [rename your table here] USING ( [write your query here] )[rename your query-sql and using just ...
1.封装ajax服务,ajax的url post提交,返回text数据: function ajaxService(url){ //生成xmlhttpRequest实例 var xmlhttp=null; if(window.XMLHttpRequest){ //Mozilla 浏览器 xmlhttp = new XMLHttpRequest(); if(xmlhttp.overrideMimeType){//设置MiME类别 xmlhttp.ov ...
1.上传组件的只读控制(只能选择不能手动输入) <input type="file" id="file1" contenteditable="false" />  备注:此处的contenteditable在Dhtml中没有此属性 2.当输入框输入的键盘起来之后触发的事件onkeyup,当从粘贴板粘数据时触发的事件onpaste <input name="p_gwrs" type="text" class="text" id="p_gwrs ...
介绍:            Zookeeper分为2个部分:服务器端和客户端,客户端只连接到整个ZooKeeper服务的某个服务器上。客户端使用并维护一个TCP连接,通过这个连接发送请求、接受响应、获取观察的事件以及发送心跳。如果这个TCP连 ...
IKAnalyzer         IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。切词Demo代码如下: public static void ikSeg() throws Throwable { String content = "Java编程思想(第4版)"; IKSegmentation ikSeg = new IKSegmentation(new StringReader(content), true); Lexeme l = null; while ((l = ikSeg.next()) != null ...
Zookeeper是什么我们不讨论了,我们先讨论怎么实现分布式的部署 环境: 单机下模拟分布式部署 由于选举策略要求此处采用3个server(2n+1) 分别为 zookeeper-3.3.3-01 zookeeper-3.3.3-02 zookeeper-3.3.3-03 1.从http://zookeeper.apache.org下载zookeeper此处采用3.3.3 2.解压修改名称为:E:\tools\zookeeper-3.3.3-01 3.创建data目录E:\tools\zookeeper-3.3.3-01\data 4.修改E:\tools\zooke ...
jstl截断字符串: 需求:     字符串过于长的时候需要通过仅仅展示前4个,用...表示省略, 实现:     word.type是word对象的一个type属性,实现代码如下所示: <c:if test="${fn:length(word.type)>5}">${fn:substring(word.type,"0","4")}... </c:if> <c:if test="${fn:length(word.type)<=5}">${word.type ...
避免缓存问题: 需求:     ajax在发送某url的时候会缓存该数据如果下次执行同样的url那么他直接把浏览器缓存的数据给你,这样就使得数据不一致 方案:     ajax的缓存还是应该有的,这样能够提高效率,如果不需要缓存那么让每次请求的url不同即可,代码如下: var dat=new Date(); var url = "opeate.do?dayType='123'&radom="+dat.getTime();  也就是随一个当前秒的参数 getTime() 方法可返回距 1970 年 1 月 1 日之间的毫秒数。 中文参数乱码: 需 ...
通过jps可以查看相应的进程列表,主要进程如下: org.apache.hadoop.hdfs.server.namenode.NameNode; org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode; org.apache.hadoop.hdfs.server.datanode.DataNode; org.apache.hadoop.mapred.JobTracker; org.apache.hadoop.mapred.TaskTracker;   NameNode: Hadoop中神经中枢,Hadoop是单节点的 ...

TDD培训总结

       TDD全称Test Driven Development,中文为测试驱动开发,顾名思义以测试来驱动开发,他的基本思路就是通过测试来推动整个开发的进行,但不只是单纯的测试工作,而是把需求分析,设计,质量控制量化的过程。先编写单元 ...
Global site tag (gtag.js) - Google Analytics