sunasheng
- 浏览: 122811 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
hbase(main):002:0> create 'tab','f1'ERROR: org.apache.hadoop.hbase.PleaseHoldException: org.apache.hadoop.hbase.PleaseHoldException: Master is initializingHere is some help for this command:Create table; pass table name, a dictionary of specifications percolumn family, and optionally a dictionary ...
git的历史记录1.查看git日志 git log 查看全部commit信息 git log -p 查看全部commit信息和代码的差异 git log -1 查看近1条的commit信息 git l ...
git的安装与常用操作1.安装
命令：sudo apt-get install git (Ubuntu)命令：git --version查看是否安装成功/查看git的版本
2.常用操作
<1>通知git用户
git config --global user.name "sunhs"
git config --global user.email 'sunhs@m15.cn'
可以通过一下命令查看上面的设置是否成功：
git config --global --list
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.m ...
mapreduce程序，自定义了Partition，运行时出现以下异常：
java.io.IOException: Illegal partition for 2 (-1)
自定义Partition代码：
public static class Partition extends Partitioner<IntWritable,IntWritable>
{
@Override
public int getPartition(IntWritable key, IntWritable value, int numPartitions)
{
int Maxn ...
HDFS
参数
描述
默认
配置文件
例子值
fs.default.name
namenode RPC交互端口
8020
core-site.xml
hdfs://master:8020/
dfs.http.address
NameNode web管理端口
50070
hdfs- site.xml
0.0.0.0:50070
dfs.datanode.address
datanode 控制端口
50010
hdfs -site.xml
0.0.0.0:50010
一般我们使用递归的方式来查看某个文件夹下的所有文件，代码如下：
import java.io.File;
import java.util.ArrayList;
import java.util.List;
public class FileNameFound {
private static List<String> list = new ArrayList<String>();// 注意：一定要在方法外
/**
* 根据文件夹路径和文件后缀查询该文件夹下所有的文件名
*
* @param file
* ...
在本地写好的mapreduce程序想要连接远程服务器进行执行，但在执行时：
连接远程服务器时出现一下异常：java.net.UnknownHostException: unknown host: master
说明本地客户端不认识远程服务器的master，或者不认识远程服务器上的slave1/slave2......
解决方法：
在本地客户端配置hosts
vi /etc/hosts
master 192.168.10.11
HBase Filter
使用过滤器：
//集合用于存储过滤条件
List<String> array = new ArrayList<String>();
//加入过滤条件
array.add("action,event,TreasureDetail");
array.add("action,label,Enter");
//调用相应过滤方法
HBaseManager.setAndFilter(scan, array);
定义过滤方法：
public static void set ...
表现状况：终端登录远程服务器然后再登mysql可以进行操作，终端使用命令“mysql -h 192.168.10.71 -uroot -p123456”登录出错，代码操作远程mysql出错。
例如：
远程mysql用户名和密码： root 123456
远程mysql IP 192.168.10.71
本机IP：192.168.10.230
1.登录远程mysql
首先登录远程服务器，然后再登录mysql
ssh root@192.168.10.71
mysql ...
1.仓库的建立mkdir testcd test
git init
2.下载代码
git clone@192.168.10.99:ipeijian_data.git
3.修改代码......
Hadoop运行jar
1.打包
使用eclipse进行打包，注意：打包过程中只需要src文件夹，其余都不要，也不要进行任何的设置（如主类）
2.拷贝
将打好的jar包拷贝至
public static Configuration initConf(Configuration conf, String date)
throws IOException {
Scan scan = new Scan();
scan.setCaching(300);
scan.setMaxVersions();
scan.addFamily(HTableConstant.IPJ_STATICS_INDEX_IMEI_FAMILY);
scan.addColumn(HTableConstant.IPJ_STATICS_INDEX_IMEI_FAMILY, ...
package cn.m15.ipj.job.usergroup;
Mapreduce处理结果向输出至mysql
1.写入mysql
<1>job中输出的配置：
DBOutputFormat.setOutput(this, MySQLConstant.MYSQL_FIX_USER,
MySQLConstant.MYSQL_FIX_OPEN_FIRST_FIELDS);
(DBOutputFormat为hadoop自带API，将输入插入数据库)
public final static String
MYSQL_FIX_USER =
...
转自：http://zhangxxheng.iteye.com 转载请注明出
心血来潮，看了看mongoDB 的相关内容，写了个入门级的demo.用来备忘！
一：如何安装mongoDB服务
1.下载mongodb的windows版本，有32位和64位版本，根据系统情况下载,下载地址：htp://www.mongodb.org/downloads 我这里的是 32 的
2.解压缩至F:/mongodb即可(这个位置 可以随便，就像平时安装软件解压一样没有特殊的要求)
3.创建数据库文件的存放位置，比如E:/mongodb/data/db。启动mongodb服务之前需要必须创建数据库 ...