tracyking1986
- 浏览: 6800 次
- 性别:
- 来自: 重庆
-
最新评论
文章列表
Hadoop集群（第3期）_VSFTP安装配置
- 博客分类：
- 分布式
1、VSFTP简介
VSFTP
是一个基于GPL发布的类Unix系统上使用的FTP服务器
软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。
安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速 ...
Hadoop集群（第1期）_CentOS安装配置
- 博客分类：
- 分布式
1、准备安装
1.1 系统简介
CentOS 是什么？
CentOS
是一个基于Red Hat 企业级 Linux
提供的可自由使用的源代码企业级
的 Linux 发行版本。每个版本
的 CentOS
都会获得七年
的支持
（通过安全更新方 ...
Hadoop集群（第2期）_机器信息分布表
- 博客分类：
- 分布式
1、分布式环境搭建
采用4台安装Linux环境的机器来构建一个小规模的分布式集群。
图1 集群的架构
其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网页文档的采集。
2、集群机器详细信息
2.1 Master服务器
名称
详细信息
机器名称
Master.Hadoop
我们都知道，在JDK1.5之前，Java中要进行业务并发时，通常需要有程序员独立完成代码实现，当然也有一些开源的框架提供了这些功能，但是这 些依然没有JDK自带的功能使用起来方便。而当针对高质量Java多线程并发程序设计时,为防止死蹦等现象的出现，比如使用java之前的wait()、 notify()和synchronized等，每每需要考虑性能、死锁、公平性、资源管理以及如何避免线程安全性方面带来的危害等诸多因素，往往会采用 一些较为复杂的安全策略，加重了程序员的开发负担.万幸的是，在JDK1.5出现之后，Sun大神（Doug Lea）终于为我们这些可怜的小程序员推出了java.util.co ...
Linux下Memcache的安装方法
- 博客分类：
- 缓存
首先去官方下载最新的版本,现在最新的是memcached-1.4.1 ,然后就编译安装了.
另外,Memcache用到了libevent这个库用于Socket的处理,所以还需要安装libevent，libevent的最新稳定版本是libevent-1.4.12 .
1.先进这个两个文件下载回来,放到临时目录下
cd /usr/local/src
wget http://memcached.googlecode.com/files/memcached-1.4.1.tar.gz
wget http://www.monkey.org/~provos/libevent-1.4.12-sta ...
提高nutch爬取效率
- 博客分类：
- 搜索引擎
Here are the things that could potentially slow down fetching
下面这些是潜在的影响爬取效率的内容：
1) DNS setup
2) The number of crawlers you have, too many, too few.
3) Bandwidth limitations
4) Number of threads per host (politeness)
5) Uneven distribution of urls to fetch and politeness.
6) High c ...
1、mysql 数据库配置
linux mysql安装步骤省略。
创建数据库与表
CREATE DATABASE nutch DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE TABLE `webpage` (
`id` varchar(767) CHARACTER SET latin1 NOT NULL,
`headers` blob,
...
我们都知道，在JDK1.5之前，Java中要进行业务并发时，通常需要有程序员独立完成代码实现，当然也有一些开源的框架提供了这些功能，但是这
些依然没有JDK自带的功能使用起来方便。而当针对高质量Java多线程并发程序设计时,为防止死蹦等现象的出现，比如使用java之前的wait()、
notify()和synchronized等，每每需要考虑性能、死锁、公平性、资源管理以及如何避免线程安全性方面带来的危害等诸多因素，往往会采用
一些较为复杂的安全策略，加重了程序员的开发负担.万幸的是，在JDK1.5出现之后，Sun大神（Doug
Lea）终于为我们这些可怜的小程序员推出了java. ...