228298566
- 浏览: 37874 次
- 性别:
- 来自: 上海
-
最新评论
文章列表
hbase自带的备份恢复工具hbase org.apache.hadoop.hbase.mapreduce.Export 'table1' /home/fred/table1 (hdfs路径)hbase org.apache.hadoop.hbase.mapreduce.Import 'table1' /home/fred/table1 (hdfs路径)导入时必须先创建表结构。
//安装mysql客户端
yum install mysql
//安装mysql 服务器端
yum install mysql-server
yum install mysql-devel
mysql配置文件/etc/my.cnf中加入default-character-set=utf8
在[client]下添加
default-character-set=utf8
在[mysqld]下添加
default-character-set=utf8
service mysqld start或者/etc/init.d/mysqld start
...
无法用yum安装，错误如下
TypeError: rpmdb open failed
解决办法
是因为RPM数据库出现损坏导致的，它导致所有的软件的升级、安装甚至是删除都会出现问题，终端出现乱码，YUMEX也用不成，RPM命令也用不成。原因是RPM数据库被破坏，解决方法如下：
$ su 切换到root权限
# cd /var/lib/rpm/
# for i in `ls | grep 'db.'`;do mv $i $i.bak;done
# rpm --rebuilddb 重建该数据库
# yum clean all
安装ambari 前置步骤:
centos6.5
关闭iptables;
关闭SELinux;
# yum clean all# yum update openssl
vim /etc/resolv.conf
nameserver 8.8.8.8
id_rsa
echo "nameserver 8.8.8.8" > /etc/resolv.conf
Linux下开启/关闭防火墙命令
1) 永久性生效，重启后不会复原
开启： chkconfig iptables on
关闭： chkconfig iptables off
2) 即时生效，重启后复原
开启： service iptables start
关闭： service iptables stop
SSH 无密 码原理简介 :
首先在 hadoop1 上生成一个密 钥对，包括一个公钥和一个私钥，并将公钥复制到所有的 slave(hadoop2-hadoop4) 上。
然后当 master 通 过 SSH 连接 slave 时， slave 就会生成一个随机数并用 master 的公 钥对随机数进行加密，并发送给 master 。
最后 master 收到加密数之后再用私 钥解密，并将解密数回传给 slave ， slave 确 认解密数无误之后就允许 master 不 输入密码进行连接了
注意修改.ssh的权限为700，authorized_keys权限为600
如果连接 ...
centos—>删除这个 /etc/udev/rules.d/70-persistent-net.rules，重启后把这个文件里NAME="eth1"的eth1改成eth0，同时也要修改ATTR{address}里的mac地址和/etc/sysconfig/network-scripts/ifcfg-eth0文件mac地址一致。
centos 6.4 安装jdk
- 博客分类：
- java
1.先看看OpenJDK的安装包
$ rpm -qa |grep javatzdata-java-2013b-1.el6.noarchjava-1.6.0-openjdk-1.6.0.0-1.61.1.11.11.el6_4.x86_64java-1.7.0-openjdk-1.7.0.19-2.3.9.1.el6_4.x86_64
2.检查OpenJDK版本$ java -versionjava version "1.7.0_19"OpenJDK Runtime Environment (rhel-2.3.9.1.el6_4-x86_64)OpenJDK ...
linux 下查找文件或者内容常有命令
- 博客分类：
- linux
whereis <程序名称>查找软件的安装路径-b 只查找二进制文件-m 只查找帮助文件-s 只查找源代码-u 排除指定类型文件
分析和优化云集群性能
- 博客分类：
- hadoop
http://blog.csdn.net/azhao_dn/article/details/7091603
http://blog.csdn.net/wf1982/article/details/6572073
分布式缓存在MapReduce中称之为DistributedCache，它可以方便map task之间或者reduce task之间共享一些信息，同时也可以将第三方包添加到其classpath路径中去。Hadoop会将缓存数据分发到集群的所有准备启动的节点上，复制到在mapred.temp.dir中配置的目录。
2、DistributedCache的使用
DistributedCache的使用的本质其实是添加Configuraton中的属性：mapred.cache.{files|archives}。图方便的话，可以使用DistributedCache类的静态方法。
不省事法 ...
通过把一部分log已经迁移到Hadoop集群上
并由Hive来执行相关的查询
hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2
也即：每一个tasktracker同时运行的map任务数为2
照此默认设置，查询80天某用户的操作日志，耗时5mins, 45sec
经过测试，发现将mapred.tasktracker.map.tasks.maximum设置为节点的cpu cores数目减1比较合适
此时的运行效率最高，大概花费3mins, 25sec
我们现在的机器都是8核的，所以最终配置如下：
<property> ...
ubuntu 时间设置
- 博客分类：
- linux
sudo dpkg-reconfigure tzdata 设置时区
sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 保存
设置系统时间与网络时间同步
sudo ntpdate 210.72.145.44
sudo hwclock --systohc 将系统时间写入硬件时间
在安装完Windows和Ubuntu双系统之后，经常会遇到时间不同步的问题。如果在ubuntu中更改了系统时间，Windows下的系统时间就不正确了，这个问题如何解决呢？
原因：Ubuntu（我不太清楚其它linux发行版是否一样）默认BIOS中存储的时间格式为UTC时间，即是协调世界时，而中国大陆采用ISO 8601-1988的《数据元和交换格式信息交换日期和时间表示法》（GB/T 7408-1994）称之为国际协调时间。因此中国大陆、中国香港、中国澳门、中国台湾、蒙古国、新加坡、马来西亚、菲律宾、西澳大利亚州的时间与UTC的时差均为+8，也就是UTC+8。当采取两种不同策略读时， ...