lxm63972012
- 浏览: 36904 次
- 性别:
- 来自: 深圳
-
最新评论
文章列表
synchronized Java语言的关键字，当它用来修饰一个方法或者一个代码块的时候，能够保证在同一时刻最多只有一个线程执行该段代码。
先看几个例子：
实例一：
import java.util.ArrayList;import java.util.List;
public class MyThread { public void printNum(List list) { synchronized (list) { if (null != list) { for (int i = 0; i < list.size(); i++) { System ...
hadoop 0.20之前的版本应该不支持文件追加功能，我用的是1.0版本的。
要想使用文件追加写入功能，先配置hdfs-site.xml,如下：
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
dfs.support.append默认是关闭的。
然后程序打开文件时用：
FileSystem fs = FileSystem.get(URI. ...
参考网络众多资料，结合自己的实践，记录了hadoop hdfs应用的一些注意事项和知识点，希望对您有所帮助。
环境配置
1. 安装linux ubuntu系统
2. 安装开启openssh-server：$
sudo apt-get install openssh-server
3. 建立ssh 无密码登录
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。
这两个是成对出现，类似钥匙和锁。再把id_ ...
本文来源 http://www.oratea.net/?p=827
SecondNamenode名字看起来很象是对第二个Namenode，要么与Namenode一样同时对外提供服务，要么相当于Namenode的HA。真正的了解了SecondNamenode以后，才发现事实并不是这样的。下面这段是Hadoop对SecondNamenode的准确定义：
* The Secondary Namenode is a helper to the primary Namenode.* The Secondary is responsible for supporting periodic c ...
存储文件：
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apach ...
存储文件：
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache ...
hadoop 小文件解决方案
- 博客分类：
- hadoop
基于Hadoop Sequencefile的小文件解决方案
一、 概述
小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个
java.io.IOException: File
/user/root/input could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
at
org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)
...
jstl报org.apache.jasper.JasperException: /index.jsp(6,0) According to TLD or attribute directive in tag file, attribute items does not accept any expressions异常
在确保jar包已经添加的情况下
把<%@ taglib uri="http://java.sun.com/jstl/core" prefix="c"%>
改为：
<%@ taglib uri="http ...
数字转对应的excel列字母
- 博客分类：
- java
String[] str = new string[]{"A","B","C","D","E","F","G",
"H","I","J","K","L","M","N",
"O", ...
equals()与==的区别
- 博客分类：
- java
1. equals只能对对象进行比较，不能用于基本类型的比较，==则没有限制。
2. equals方法比较的是对象内容，==比较的是对象的引用。
3. 比较对象一般用equals方法，大多数java类库都实现了该方法。
4. 如果是自己实现的类，必须重写equals和hashCode方法才能正确的使用该方法，否则与==效果一样。
<html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><title>validateNum</title><script type="text/javascript">function validateNum(){ var regNum = /^-?([1-9]+\d*\.?|0\.)\d*$/; //浮点数验证
var regZero=/^(0|0.)0*$ ...
突然间发现，作为一个软件开发人员，竟然没有买过技术之类的任何书籍。因为所有学习资料都是在网上找的，所有问题都能在网上解决。以前也没有觉得有啥问题，现在却发现，如果离开电脑，就只能无聊到睡觉了。
惭愧之余，刚才就在淘宝上花了90大洋，买了java2核心技术卷一+卷二第8版+Java编程思想中文版4版三本知名书籍。
系统一期已经上线了好久了，二期已经开始开发。可今天一测试人员却发现有一个导出与查询的数据不一致，在前台查询到的数据才几天，导出的数据却有几百条。我开始还以为是测试人员理解错了呢，因为导出的数据本来就是查询出来的头和行的乘积，后来才发现是以前程序中传的日期参数不对，没有取到对应的值。因为这个查询条件过多，当时也没有每个条件都测试，一期测试时也没有发现。
仔细想想如果不是自己粗心，也不会把参数写错。即使开始写错，只要一一对照一下肯定能检查出来的。
还好错误不很严重，不然就亏大了。
以后一定要细心再细心，不能犯那些低级的错误。
有一种技术人员，在工作之余会总结一下经验，钻研老技术，关注一下新技术，然后写下博客，方便自己，也方便别人。
有一种技术人员，在工作之余却下个电影，看下小说，只顾吃喝玩乐。
有一种技术人员，在上两种之间，一会学一会玩。