jinjzk
- 浏览: 80329 次
- 性别:
- 来自: 杭州
-
最新评论
文章列表
制作ubuntu启动盘
- 博客分类：
- ubuntu
http://www.ubuntu.com/download/desktop/create-a-usb-stick-on-ubuntu
=========================
最近ubuntu14.10出来了，因为从ubuntu14.04升级不是很成功，于是就重新下载了14.10的系统镜像（苦逼的无线啊）。于是我按照以往的方式用软碟通将镜像解压到U盘里，重启系统，却出现了gfxboot.c32:not a COM32R image boot… 的提示，起初以为是解压时的问题，于是重试了许多次，都是同样的结果。后来直接用解压软件将镜像解压到U盘，同样还是失败，尽管提示不同（ ...
Ubuntu新建用户
- 博客分类：
- ubuntu
新建用户的命令是useradd，修改密码是passwd，如下：
sudo useradd linc
sudo passwd linc
但是问题出现了，home目录下并没有相对应的linc目录。
原来ubuntu并没有为我们做那么多，先来看看useradd的选项：
选项：
-b, --base-dir BASE_DIR 新账户的主目录的基目录
-c, --comment COMMENT 新账户的 GECOS 字段
-d, --home-dir HOME_DIR 新账户的主目录
-D, --de ...
1、运行flume需要的jar包，以及hadoop配置文件
/cloud/hadoop-2.6.0/share/hadoop/common/hadoop-common-2.6.0.jar
/cloud/hadoop-2.6.0/share/hadoop/common/lib/commons-configuration-1.6.jar
/cloud/hadoop-2.6.0/share/hadoop/common/lib/hadoop-auth-2.6.0.jar
/cloud/hadoop-2.6.0/share/hadoop/hdfs/hadoop-hdfs-2.6.0.jar
/ ...
hadoop与HBase版本对应关系:
Hbase Hadoop
0.92.0 1.0.0
0.92.1 1.0.0
0.92.2 1.0.3
0.94.0 1.0.2
0.94.1 1.0.3
0.94.2 1.0.3
0.94.3 1.0.4
0.94.4 1.0.4
0.94.5 1.0.4
0.94.9 1.2.0
0.95.0 1.2.0
hadoop与hive版本对应关系
hive版本0.13.1支持hadoop版本
Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y
hive版本0.13.0支持hado ...
1、配置hive-site.xml文件，使用mysql作为metestore
mv hive-default.xml.template hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<descrip ...
vim words
hello jzk
hello wyq
hello jdd
hello jdd
hello jdd
cd /cloud/hadoop-2.6.0/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount hdfs://jinzhaokang:9000/words hdfs://jinzhaokang:9000/wcout
Step 1: 增加源到 source.list
sudo add-apt-repository "deb http://extras.ubuntu.com/ubuntu saucy main"
sudo add-apt-repository "deb http://de.archive.ubuntu.com/ubuntu/ saucy main universe restricted multiverse"
Step 2: 删除 svn 1.8 package
sudo apt-get remove subversion ...
hadoop fs -ls /
hdfs dfs -ls / #操作命令
1、架构
下图表示/test/a.log这个文件保存3个副本，该文件有blk_1,blk_2两个块，
第一个块保存在h0,h1,h3这3个服务器中，
第二个块保存在h0,h2,h4这3个服务器中。。
2、HDFS基础数据
NameNode是整个文件系统的管理节点；它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表；接收用户的操作请求。
以下这些文件是HDFS的关键元素，，，，并且保存在linux的文件系统中：
fsimage:元数据镜像文件，存储某一时段NameNode内存元数 ...
hadoop学习--伪分布式
- 博客分类：
- hadoop配置
1、以主机网络模式--桥接模式 为例
2、修改主机名
vim /etc/sysconfig/network
#主机名修改为hadoop01
e、修改主机名和IP的映射关系
vim /etc/hosts
192.168.1.103 hadoop01
3、关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
#重启Linu ...
1, 设置Eclipse内存使用情况
修改eclipse根目录下的eclipse.ini文件
-vmargs //虚拟机设置
-Xms512m //初始内存
-Xmx512m //最大内存
-Xmn256m //新生代内存
-XX:PermSize=128M //非堆内存
-XX:MaxPermSize=128M
2, JVM内存设置
打开eclipse window－preferences－Java －Installed JREs －Edit －Default VM Arguments ...
#!/bin/bash
a=2
v2=`expr $a - 1`
echo $v2
echo "============================================="
for i in `seq 1 10`;
do
echo $i
done
echo "============================================="
for i in `seq 1 5 20`; do echo $i; done
echo "============== ...
public static void main(String[] args) {
int[] array = { 1, -2, 3, 10, -4, 7, 2, -5 ,6, 8, 9};
MaxSum(array, 11);
}
public static void MaxSum(int[] array, int len)
{
if (null == array || len <= 0) {
return;
} ...
zookeeper选举机制
- 博客分类：
- zookeeper
FastLeaderElection算法通过异步的通信方式来收集其它节点的选票，同时在分析选票时又根据投票者的当前状态来作不同的处理，以加快Leader的选举进程。
每个在zookeeper服务器启动先读取当前保存在磁盘的数据,zookeeper中的每份数据都有一个对应的id值,这个值是依次递增的；换言之,越新的数据,对应的ID值就越大。
在读取数据完毕之后,每个zookeeper服务器发送自己选举的leader,这个协议中包含了以下几部分的数据:
1)、所选举leader的id(就是配置文件中写好的每个服务器的id) ,在初始阶段,每台服务器的这个值都是自己服务 ...
一、内部跳转(请求转发)和外部跳转(重定向)的区别?
总结归纳要点:
1、内部跳转的时候实际上是通过服务器端将请求转发到另外的页面或者servlet中,这个时候跳转到的目标页面或者servlet可以获取到请求对象, 也可以获取到请求中 ...
让redis以后台进程的形式运行
编辑redis.conf配置文件,修改如下内容;
daemonize yes
其实redis在存储数据时，都把数据转化成了byte[]数组的形式，那么在存取数据时，需要将数据格式进行转化，那么就要用到序列化和反序列化了，这也就是为什么需要配置Serializer的原因。
1、keys
keys * #显示所有key
keys j* #显示j开头的key
keys j[ek] #显示j开头，后面带e或者k的key
keys j？ #显示j开头后面一位随意字符的key
randomkey #随机返回key
type key #返回key ...