文章列表
Hbase 常用命令行
- 博客分类：
- HBASE
1.创建HBASE表
create 'member','member_id','address',{NAME=>'info',VERSIONS=>5}
member : hbase表明
member_id,address,info :hbase 的三个列族
{NAME=>'info',VERSIONS=>5} : 指定列族记录历史的最大版本数为5，如果不指定则只保留一个版本，
也就是最新版 ...
ambari 安装 Kerberos
- 博客分类：
- 大数据安全
kerberos 常用命令：
kadmin.local //以超管身份进入kadmin
kadmin //进入kadmin模式，需输入密码
kdb5_util create -r JENKIN.COM -s //创建数据库
service krb5kdc start //启动kdc服务
service kadmin start //启动kadmin服务
service kprop start //启动kprop服务
kdb5_util dump /var/kerberos/krb5kdc/slave_data ...
Hbase java api
- 博客分类：
- HBASE
注意：eclipse 调试 HBASE Java Api 需要把hbase-site.xml 和hdfs-site.xml配置文件拷贝到classpath下
mavne 加载依赖包（选择自己对应的版本）：
<!-- hbase java api -->
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>1.1.2< ...
package com.test.linux;
import java.io.IOException;
import java.io.InputStream;
import java.io.UnsupportedEncodingException;
import java.nio.charset.Charset;
import org.apache.commons.io.IOUtils;
import ch.ethz.ssh2.ChannelCondition;
import ch.ethz.ssh2.Connection;
import ch.ethz.ssh2 ...
hive存储读取json格式的数据
- 博客分类：
- HIVE
转载：http://blog.csdn.net/javastart/article/details/51194640
背景 JSON是一种轻量级的数据格式，结构灵活，支持嵌套，非常易于人的阅读和编写，而且主流的编程语言都提供相应的框架或类库支持与JSON数据的交互，因此大量的系统使用JSON作为日志存储格式。 使用Hive分析数据（均指文本）之前，首先需要为待分析的数据建立一张数据表，然后才可以使用Hive SQL分析这张数据表的数据。这就涉及到我们如何把一行文本数据映射为数据表的列，常规的方式有两种： （1）分隔符 （2）正则
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会 ...
JAVA上传文件到HDFS
- 博客分类：
- HDFS
package com.hqgf.testhdfs;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Hdfs {
static Configuration conf ...
hive JAVA API
- 博客分类：
- HIVE
package com.hqgf.hive;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
import java.text.SimpleDateFormat;
import java.util.Date;
public class HiveJDBC {
private static String driverName = "org.apache.hive.jdbc.H ...
1.Vnc自动启动
复制配置模板文件为vncserver@:1.service
cp /lib/systemd/system/vncserver@.service /lib/systemd/system/vncserver@:1.service
修改/lib/systemd/system/vncserver@:1.service配置文件
cat /lib/systemd/system/vncserver\@\:1.service | grep -v ^# | grep -v ^$
把/lib/systemd/system/vncserver\@\:1.service中的< ...
Keepalived双机热备
- 博客分类：
- java相关技术要点
通常说的双机热备是指两台机器都在运行，但并不是两台机器都同时在提供服务。当提供服务的一台出现故障的时候，另外一台会马上自动接管并且提供服务，而且切换的时间非常短。下面来以keepalived结合tomcat来实现一个web服 ...
1、安装vsftpd
yum install -y vsftpd #安装vsftpd
yum install -y psmisc net-tools systemd-devel libdb-devel perl-DBI #安装vsftpd虚拟用户配置依赖包
systemctl start vsftpd.service #启动
systemctl enable vsftpd.service #设置vsftpd开机启动
2、配置vsftp服务器
cp /etc/vsftpd/vsftpd.conf /etc/vsftpd/vsftpd.conf-bak #备份默认配置文件
执行 ...
nginx配置
- 博客分类：
- java相关技术要点
Nginx 安装配置
Nginx("engine x")是一款是由俄罗斯的程序设计师Igor Sysoev所开发高性能的 Web和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。
在高连接并发的情况下，Nginx是Apache服务器不错的替代品。
Nginx 安装
系统平台：CentOS release 6.6 (Final) 64位。
centos 7 安装ambari
- 博客分类：
- AMBARI
1.wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.d/ambari.repo
2.yum repolist
3.yum clean all
4.yum install ambari-server
注意：必须先 安装mysql 创建ambari用户并赋予权限 使用ambari用户创建ambari数据库 生成ambari数据表
1.下载mysql的repo源
wget http:/ ...
centos7 vnc安装
- 博客分类：
- vnc server
CentOS 7.4下VNC Server服务配置
一、安装VNC相关包
yum -y install tigervnc tigervnc-server tigervnc-server-module
二、复制配置模板文件为vncserver@:1.service
cp /lib/systemd/system/vncserver@.service /lib/systemd/system/vncserver@:1.service
三、修改/lib/systemd/system/vncserver@:1.service配置文件
[root@kvm01 ~]# ...
centos7 安装jdk
- 博客分类：
- java 开发
1.查找需要卸载默认的openjdk
执行：rpm -qa | grep openjdk | grep -v grep
2.卸载openjdk
执行命令：rpm -e --nodeps java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64
3.修改/etc/profile添加一下配置
JAVA_HOME=/usr/local/java/jdk1.8.0_121
JRE_HOME=/usr/local/java/jdk1.8.0_121/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CL ...