文章列表
Hbase -version 0.90.6Hadoop -version 0.20.203
tar zxvf mysql.tar.gz -C /home/aaa
ssh: localhost: Name or service not known 是/etc/hosts在作怪。在/etc/hosts 没有localhost的解析，127.0.0.1 localhost # must be added
使用env命令显示所有的环境变量
Unpack the downloaded Hadoop distribution. In the distribution, edit t ...
通过solr建立数据库索引，并查询
- 博客分类：
- solr 数据库
要建立自己的全文检索，一般都需要从数据库导入数据，在原来配置的基础上，增加导入的功能 1、D:\apache-tomcat-7.0.27\solr\conf\solrconfig.xml中增加 <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="co ...
对于一个大数据的分析应用,join是必不可少的一项功能.现在很多构建与hadoop之上的应用,如Hive,PIG等在其内部实现了join程序,可以通过很简单的sql语句或者数据操控脚本完成相应的Join工作.那么join应该如何实现呢?今天我们就对join做一个简单的实现.
我们来看一个例子,现在有两组数据:一组为单位人员信息,如下:
人员ID 人员名称 地址ID
1 张三 1
2 李四 2
3 王五 1
4 赵六 3
5 马七 3
1.Map开发。
package com.aa.mapreduce;
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;
public class WordMapper extends Mapper<LongWritable, Text, Text, LongWritable> { private LongWritable outValue= ...
(2)在Eclipse中配置开发hadoop程序，下载hadoop-0.20.2-cdh3u1.tar.gz。
· Step1. 在eclipse中，新建一个Java 项目，填入Project name，在Contents中，选择 “Create project from existing source”，在 Browse… 中选择hadoop的目录，点击“Next > ”。
· Step2. 在Java Build Path面板，建议把Source folders全部移除，在Default output folder中，重新输入output ...
（1）安装Cygwin，并设置环境变量到$Cygwin_Home/bin。
windows下无法直接运行hadoop，是由于hadoop的节点（Datanode）需要用到linux 的环境命令，比如 df, du 获取磁盘的信息，whoami 获取用户信息等。所以理想方式在 windows 上提供linux 的环境。Cygwin是一个在windows 平台上运行的unix 模拟环境。
Step1. 下载 cgywin 的安装程序，可以访问 http://www.cygwin.com/ 下载最新的版本的cygwin.exe。
-Xmn512m -Xms1024m -Xmx1024m
在一些规模稍大的应用中，Java虚拟机（JVM）的内存设置尤为重要，想在项目中取得好的效率，GC（垃圾回收）的设置是第一步。
PermGen space：全称是PermanentGenerationspace.就是说是永久保存的区域, ...
e:cd E:\document\Mongodb\mongodb\bincmd /E:ON /V:ON /F:ON /k "%1" %*
windows mongodb 集群
- 博客分类：
- mongodb
在一台Windows机器下搭建了一个 Replica Sets + Sharding 测试集群环境，以此作为我后续对于Mongodb更进一步学习的实验平台。
只有一台windows机器，配置方案：1、3个分片sharding2、每一个分片由3个节点构成1主2备的Replica Sets3、3个配置节点Configsever4、1个路由节点Mongos
分片复制集A（三个分片节点构成一个复制集）：
127.0.0.1:10000 127.0.0.1:10001 127.0.0.1:10002
分片复制集B（三个分片节点构成一个复制集）：
127.0.0.1:20000 127. ...
spring的ioc类图
- 博客分类：
- java
spring在ioc的两个体现：一个是BeanFactory，一个是ApplicationContext。
一、BeanFactory
AliasRegistry：
提供了注册、删除、获得以及是否是 别名 的方法。
BeanDefinitionRegistry：
提供了注册、删除、获得以及是否包含 bean的定义 的等方法，并继承了AliasRegistry。
SimpleAliasRegistry：
实现了AliasRegistry中的方法。
SimpleBeanDefinitionRegistry：
实现了BeanDefinitionReg ...
import java.util.Date;import java.util.Properties;
import javax.mail.Message;import javax.mail.Multipart;import javax.mail.Session;import javax.mail.Transport;import javax.mail.internet.InternetAddress;import javax.mail.internet.MimeBodyPart;import javax.mail.internet.MimeMessage;import javax.ma ...
一、 策略（Strategy）模式
策略模式的用意是针对一组算法，将每一个算法封装到具有共同接口的独立的类中，从而使得它们可以相互替换。策略模式使得算法可以在不影响到客户端的情况下发生变化。
假设现在要设计一个贩 ...
- 2009-10-17 10:17
- 浏览 943
- 评论(0)