`
文章列表

hbase 表备份

 hbase自带的备份恢复工具hbase org.apache.hadoop.hbase.mapreduce.Export 'table1' /home/fred/table1   (hdfs路径)hbase org.apache.hadoop.hbase.mapreduce.Import 'table1' /home/fred/table1    (hdfs路径)导入时必须先创建表结构。      

centos 安装mysql

//安装mysql客户端 yum install mysql //安装mysql 服务器端 yum install mysql-server yum install mysql-devel    mysql配置文件/etc/my.cnf中加入default-character-set=utf8 在[client]下添加 default-character-set=utf8 在[mysqld]下添加 default-character-set=utf8       service mysqld start或者/etc/init.d/mysqld start   ...
无法用yum安装,错误如下 TypeError: rpmdb open failed 解决办法 是因为RPM数据库出现损坏导致的,它导致所有的软件的升级、安装甚至是删除都会出现问题,终端出现乱码,YUMEX也用不成,RPM命令也用不成。原因是RPM数据库被破坏,解决方法如下: $ su            切换到root权限 # cd /var/lib/rpm/ # for i in `ls | grep 'db.'`;do mv $i $i.bak;done # rpm --rebuilddb     重建该数据库 # yum clean all

ambari

安装ambari 前置步骤:   centos6.5  关闭iptables;  关闭SELinux;  # yum clean all# yum update openssl   vim /etc/resolv.conf nameserver 8.8.8.8    id_rsa    
echo "nameserver 8.8.8.8" > /etc/resolv.conf

关闭防火期

Linux下开启/关闭防火墙命令     1) 永久性生效,重启后不会复原 开启: chkconfig iptables on 关闭: chkconfig iptables off 2) 即时生效,重启后复原 开启: service iptables start 关闭: service iptables stop

ssh 配置

SSH 无密 码原理简介 : 首先在 hadoop1 上生成一个密 钥对,包括一个公钥和一个私钥,并将公钥复制到所有的 slave(hadoop2-hadoop4) 上。 然后当 master 通 过 SSH 连接 slave 时, slave 就会生成一个随机数并用 master 的公 钥对随机数进行加密,并发送给 master 。 最后 master 收到加密数之后再用私 钥解密,并将解密数回传给 slave , slave 确 认解密数无误之后就允许 master 不 输入密码进行连接了 注意修改.ssh的权限为700,authorized_keys权限为600   如果连接 ...
centos—>删除这个 /etc/udev/rules.d/70-persistent-net.rules,重启后把这个文件里NAME="eth1"的eth1改成eth0,同时也要修改ATTR{address}里的mac地址和/etc/sysconfig/network-scripts/ifcfg-eth0文件mac地址一致。

centos 6.4 安装jdk

    博客分类:
  • java
1.先看看OpenJDK的安装包   $ rpm -qa |grep javatzdata-java-2013b-1.el6.noarchjava-1.6.0-openjdk-1.6.0.0-1.61.1.11.11.el6_4.x86_64java-1.7.0-openjdk-1.7.0.19-2.3.9.1.el6_4.x86_64   2.检查OpenJDK版本$ java -versionjava version "1.7.0_19"OpenJDK Runtime Environment (rhel-2.3.9.1.el6_4-x86_64)OpenJDK ...
whereis <程序名称>查找软件的安装路径-b 只查找二进制文件-m 只查找帮助文件-s 只查找源代码-u 排除指定类型文件
http://blog.csdn.net/azhao_dn/article/details/7091603   http://blog.csdn.net/wf1982/article/details/6572073
分布式缓存在MapReduce中称之为DistributedCache,它可以方便map task之间或者reduce task之间共享一些信息,同时也可以将第三方包添加到其classpath路径中去。Hadoop会将缓存数据分发到集群的所有准备启动的节点上,复制到在mapred.temp.dir中配置的目录。     2、DistributedCache的使用 DistributedCache的使用的本质其实是添加Configuraton中的属性:mapred.cache.{files|archives}。图方便的话,可以使用DistributedCache类的静态方法。 不省事法 ...
通过把一部分log已经迁移到Hadoop集群上 并由Hive来执行相关的查询 hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2 也即:每一个tasktracker同时运行的map任务数为2 照此默认设置,查询80天某用户的操作日志,耗时5mins, 45sec 经过测试,发现将mapred.tasktracker.map.tasks.maximum设置为节点的cpu cores数目减1比较合适 此时的运行效率最高,大概花费3mins, 25sec 我们现在的机器都是8核的,所以最终配置如下: <property> ...

ubuntu 时间设置

sudo dpkg-reconfigure tzdata   设置时区 sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime  保存 设置系统时间与网络时间同步 sudo ntpdate 210.72.145.44 sudo hwclock --systohc  将系统时间写入硬件时间  
在安装完Windows和Ubuntu双系统之后,经常会遇到时间不同步的问题。如果在ubuntu中更改了系统时间,Windows下的系统时间就不正确了,这个问题如何解决呢?    原因:Ubuntu(我不太清楚其它linux发行版是否一样)默认BIOS中存储的时间格式为UTC时间,即是协调世界时,而中国大陆采用ISO 8601-1988的《数据元和交换格式信息交换日期和时间表示法》(GB/T 7408-1994)称之为国际协调时间。因此中国大陆、中国香港、中国澳门、中国台湾、蒙古国、新加坡、马来西亚、菲律宾、西澳大利亚州的时间与UTC的时差均为+8,也就是UTC+8。当采取两种不同策略读时, ...
Global site tag (gtag.js) - Google Analytics