gcgmh
- 浏览: 355983 次
- 性别:
- 来自: 北京
-
最新评论
-
menghuannvxia：
您好，我通过java上传文件到hadoop速度特别慢，怎么回事 ...
hadoop hdfs 一些用法 -
ydsakyclguozi：
ydsakyclguozi 写道david.org 写道错了. ...
hadoop修改默认的心跳检测的时间 -
ydsakyclguozi：
david.org 写道错了. heartbeat.reche ...
hadoop修改默认的心跳检测的时间 -
mypotatolove：
我现在想做用HttpClient从微博中爬取微博动态，能不能跟 ...
httpclient 设置user-agent -
青春的、脚步：
再者请教：如果查询的字段没有在配置文件的字段中加 termVe ...
solr morelikethis功能
文章列表
tomcat 安装好之后，只需要把你的程序包放到$Tomcat_Home$/webapps下就可以直接使用了。这样会使webapps越来越大就需要设置虚拟目录：
1.单个应用设置：
打开%Tomcat_Home%\conf\server.xml文件，在<Host>和</host>之间加上
<Context path="/site" docBase="d:\site" reloadable="true" debug="0">
</Context>
参数 ...
- 2009-02-18 16:14
- 浏览 930
- 评论(0)
方法一：用jsvc方法
1、安装J2SDK(我的是下载后放在/root里面的下)
#cd
#./jdk-1_5_0_09-linux-i586.bin 翻到最后输入yes
#mv jdk1.5.0_09 /usr/local/java 移动文件夹jdk1.5.0_09到/usr/local/里面并改名为java
2、安装tomcat
#cd
#tar xvfz apache-tomcat-5.5.20.tar.gz
#mv apache-tomcat-5.5.20 /usr/local/tomcat 移动文件夹apache-tomcat-5.5.20 到/usr/local/里面 ...
- 2009-02-18 16:09
- 浏览 1531
- 评论(0)
httpClient的get方法
- 博客分类：
- httpclient
public class HttpClientTest {
public static void main(String[] args) {
HttpClient httpClient = new HttpClient();
GetMethod getMethod = new GetMethod("http://www.sina.com.cn");
getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
new DefaultHttpMet ...
- 2009-02-14 23:00
- 浏览 1563
- 评论(0)
public class ReadConfigureXml {
private Element rootElement = null;
public Element getRootElement() {
return rootElement;
}
public ReadConfigureXml(String xmlName) {
SAXBuilder builder = new SAXBuilder();
try {
Document doc = builder.build(Thread.currentThread()
.getC ...
- 2009-02-05 15:29
- 浏览 1070
- 评论(0)
import java.util.ArrayList;
import java.util.List;
public class Store {
private List<Integer> st = new ArrayList<Integer>();
public synchronized void add(int i){
if (st.size() == 4) {
try {
wait();
} catch (InterruptedException e) {
e.printStackTrace();
...
- 2009-02-04 19:22
- 浏览 903
- 评论(0)
运行hadoop程序时， 中途我把它终止了，然后再向hdfs加文件或删除文件时，出现Name node is in safe mode错误：
rmr: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode
解决的命令：
bin/hadoop dfsadmin -safemode leave 关闭safe mode
- 2009-02-03 14:22
- 浏览 2008
- 评论(0)
package com.sodao;
/// <summary>
/// Google PageRank的Checksum算法。
///
///
///
/// </summary>
public class CheckSum {
public CheckSum()
{
}
long GOOGLE_MAGIC = 0xE6359A60l;
private long zeroFill(long a, long b)
{
long z = 0x80000000l;
if ((z ...
- 2009-02-02 21:08
- 浏览 1091
- 评论(0)
在hadoop-site.xml中增加 heartbeat.recheck.interval 默认在10分钟
自已配制时：5000值大概在40秒左右
- 2009-02-02 14:22
- 浏览 2675
- 评论(4)
1.输入 telent www.sohu.com 80
2.准备一个记事本，输入如下内容：
HEAD /index.html HTTP/1.1
Host:www.sohu.com
- 2009-02-01 20:07
- 浏览 1135
- 评论(0)
public class TestRegex {
public static void main(String[] args) {
String str = "<FONT face=黑体 color=#ff0000 size=6>,kdksk<FONT face=黑体 color=#ff0000 size=6>fkdakasldfk<FONT face=黑体 color=#ff0000 size=6>";
Pattern p = Pattern.compile("<FONT(.*?)>&qu ...
- 2009-02-01 15:06
- 浏览 911
- 评论(0)
在分布式环境中客户端创建任务并提交。
InputFormat做Map前的预处理，主要负责以下工作：
验证输入的格式是否符合JobConfig的输入定义，这个在实现Map和构建Conf的时候就会知道，不定义可以是Writable的任意子类。
将input的文件切分为逻辑上的输入InputSplit，其实这就是在上面提到的在分布式文件系统中blocksize是有大小限制的，因此大文件会被划分为多个block。
通过RecordReader来再次处理inputsplit为一组records，输出给Map。（inputsplit只是逻辑切分的第一步，但是如何根据文件中的信 ...
- 2009-02-01 11:28
- 浏览 943
- 评论(0)
/etc/rc.d/rc.local 为linux 的启动文件
linux下网络管理的几个文件
1. /etc/sysconfig/network-script/ifcfg-eth0 :网卡配制文件
2. /etc/sysconfig/network :配制网关 GATEWAY=192.168.0.1
3. /etc/host.conf 域名解析
4. /etc/hosts 主机名
5. /etc/resolv.conf DNS/路由的配制
6. /services 服务端口的配制
直接配制网卡：
ifconfig eth0 192.168.0.88 netmask 2 ...
- 2009-01-22 17:45
- 浏览 854
- 评论(0)
XManager是一个简单易用的高性能的运行在Windows平台上的X Server软件。它能把远端Unix/Linux的桌面无缝地带到你的Windows上，甚至当你的电脑是在内网或防火墙后，你也能通过SSH协议安全的运行远端的X应用程序。特点包括： -可通过Xcongfig工具设置多个Xmanager设置； -支持多用户的Windows终端环境； -支持多个IP地址； -支持本地资源数据库； -通过热键转换键盘映射； -支持多窗口下的Windows打印功能等。
Centos 5.2 上的配置：、
1. 1 打开 /etc/inittab文件，将 runlevel 变为5, ...
- 2009-01-21 09:43
- 浏览 3493
- 评论(0)
vi是没有颜色的,但是我们在linux的控制台下用vi编辑文件却能看到彩色
这是因为安装了vim-enhanced的包
root@app101 conf]# rpm -qa | grep vim
vim-minimal-6.3.046-0.40E.7
vim-enhanced-6.3.046-0.40E.7
vim-common-6.3.046-0.40E.7
linux做了一些别名
[root@app101 conf]# alias
alias cp='cp -i'
alias l.='ls -d .* --color=tty'
alias ll='ls -l --color=tty'
ali ...
- 2009-01-20 23:22
- 浏览 2998
- 评论(0)
nameNode保存文件在集群中的存信息，一但nameNode挂掉，整个集群就完了，所以要做好对nameNode的备份。（恢复时，将name目录里的文件都copy到备份机器上，配制好和nameNode相同的运行环境就行了）。
1.用linux的DFS系统备份到其它机器上，修改hadoop-site.xml里的dfs.name.dir增加：
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/name/,/mnt/nn_bp/</valu ...
- 2009-01-17 12:23
- 浏览 1936
- 评论(0)