sunasheng
- 浏览: 124411 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
程序中session都有一个默认的过期时间，其中tomcat中的默认时间为30分钟，根据需要我们可以去手动设置session的过期时间，以下是设置session的过期时间的三个方法：
1.在tomcat-->conf-->conf/web.xm中的<session-config>中设置：
<session-config>
<session-timeout>30</session-timeout>
</session-config>
2.在项目的web.xml中定义：
<session-conf ...
Java实现远程访问（RMI-Naming）
1,编写服务器端接口
新建项目：ITest，编写接口IServer ，有几点有求:
(1)接口必须实现类Remote
(2)接口中的方法必须抛出异常RemoteException
Ubuntu下Hadoop的集群版的安装
0,准备两个服务器
机器名 IP 作用
hadoop.main 192.168.1.102 NameNode,JobTracker,DataNode,TaskTracker
hadoop.slave
Ubuntu下Hadoop的单机版的安装
1,安装ssh
sudo apt-get install ssh
2,安装rsync
sudo apt-get install rsync
3,配置ssh免密码登录
ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa
public class MapReduceDemo extends Configured implements Tool {
public static class MapClass extends MapReduceBase implements Mapper<Text,T
当Lucene为数据库中数据建立索引时应该注意：
当数据量比较大的时候（笔者此处遇到的是360多万条数据），书写java代码为数据库数据的某一字段建立索引时通常会相到以下解决方案：
方案一：select语句读数据，读一条建立一条的索引。
方案二：select语句读数据，将数据全部读入内存，然后在一起建立索引。
方案三：select语句读数据，将数据存入文件中，然后从文件中读出数据建立索引。
以上三种方案本人都一一实现过，并且进行了测试，发现方案三是最有效的，建立索引的时间是最短的！
4,读和写
MapReduce读取输入数据以及写入数据支持多种数据格式。输入数据通常驻留在较大的文件中（通常是几十或者几百
GB
甚至更大），
MapReduce
处理数据的原理是将其分割成为块，这些块可以在多个计算机上并行处 ...
3，剖析
MapReduce
程序
<1>hadoop的数据类型
实现Writable
接口额类可以是值，而实现
WritableComparable
接口的类既可以是键也可以是值。
以下这些是常用的数据类型，均用于实现WritableComparable
借口：
BooleanWritable
ByteWritable
DoubleWritable
FloatWritable
IntWritable
LongWritable
1，
HDFS
文件操作
HDFS是一种文件系统，是专门为
MapReduce
这类框架下的大规模分布式数据处理而设计的。
文件命令的格式：
hadoop fs -cmd <args>
URI:scheme://authority/path
scheme类似于一个协议，可以是
file
或者
hdfs
authority是
NameNode
的主机名
path是文件或者目录的路径
读书笔记：Hadoop
初始及单机版和集群版的安装
1，
hadoop
的第一个程序（统计文档中个单词出现的次数）
/*
public class WordCount extends Configured implements Tool{
public static class MapClass extends MapReduceBase implements Mapper<LongWritable,Text,Text,IntWritable>{
private final static IntWritable one ...
<1>为
hadoop
集群安装
SSH
安装hadoop
集群时，需要专门指定一个服务器作为主节点，这个服务器会常驻
NameNode
和
JobTracker
守护进程，它也将作为一个基站，负责联络并激活所有从节点上的
DataNode
和
TaskTracker
。因此我们要为主节点定义一种手段，使他能够远程的访问到集群中的每个节点。因此，
Hadoop
使用了无口令的
SSH
协议。
<2>定义一个公共账号
hadoop-user
<3>SSH的安装
·切换到
1. CouchDB
所用语言： Erlang
特点：DB一致性，易于使用
使用许可： Apache
协议： HTTP/REST
双向数据复制，
持续进行或临时处理，
处理时带冲突检查，
因此，采用的是master-master复制（见编注2）
MVCC – 写操作不阻塞读操作
...
Lucene搜索引擎开发高级部分（索引的管理）
1，查看索引的信息
通过IndexWriter类读取索引的相关信息，将其显示出来。
通过IndexReader及其子类读取索引的相关信息，将其显示出来。
通过可视化工具（Luke，Limo）查看索引的相关信息。
2，删除索引中的文档
删除指定序号的文档：
使用IndexReader类的deleteDocument(int id)可以从索引中删除指定序号的文档。但是，被删除的文档并没有
Lucene搜索引擎开发高级部分（索引的建立和优化）
1，文本的分析
对于不同的文本要使用不同的分析器
IndexWriter writer = new IndexWriter(indexPath,new StandardAnalyzer());
writer.addDocument(doc);
这是我们一般常用的方法，但是对于我们处理的文档中不仅含有中文文档（如还有法语）这样的情况，使用单一的分析器就会使得对于一种语言的文档分析的很好，而另外一种则不行，这样就要使用到addDocument方法的一个重载的方法：
第一种方式：IndexWriter类中关系到索引创建效率的几个方法
一、SetMergeFactor（合并因子）
SetMergeFactor是控制segment合并频率的，其决定了一个索引块中包括多少个文档，当硬盘上的索引块达到多少时，
将它们合并成一个较大的索 ...