文章列表
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.security.UserGroupInformation;
/**
* @author niehw 2017-02- ...
java 访问 kerberos hdfs
- 博客分类：
- HDFS
先从服务上下载krb5.conf和keytab文件到本地目录中
package java调用kerberostohdfs;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
im ...
1、Ranger
5.1 先决条件
（1）将keystore/truststore文件（/etc/security/serverKeys）复制到其他位置（例如/etc/<component>/conf）。
（2）确保JKS文件名是唯一的。
（3）确保应用了正确的权限。
（4）确保密码是安全的
YARN的架构及原理
- 博客分类：
- YARN
YARN产生背景 a）JobTracker单点故障 b）JobTracker承受的访问压力大，影响系统的扩展性 c）不支持MapReduce之外的计算框架，比如storm、spark、flink
什么是YARN YARN是Hadoop2.0版本引进的资源管理系统，直接从MR1演化而来。 核心思想：将MR1中的JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进程实现。
ResourceManager：负责整个集群的资源管理和调度
ApplicationMaster：负责应用程序相关事务，比如任务调度、任务监控和容 ...
在Hadoop1.x版本的时候，Namenode存在着单点失效的问题。如果namenode失效了，那么所有的基于HDFS的客户端——包括MapReduce作业均无法读，写或列文件，因为namenode是唯一存储元数据与文件到数据块映射的地方。而从一个失效的namenode ...
HDFS写入与读取流程
- 博客分类：
- HDFS
HDFS写入数据流程解析
那么问题来了，如果他们之间的一个datanode突然坏掉了怎么办。
1、如果传输过程中，有某个datanode出现了故障，那么当前的pipeline会被关闭，出现故障的datanode会从当前的pipeline中移除，剩余的block会继续剩下的datanode中继续以pipeline的形式传输，同时Namenode会分配一个新的datanode，保持replicas设定的数量。2、关闭pipeline，将ack queue中的数据块放入data queue的开始。3、当前的数据块在已经写入的数据节点中被元数据节点赋予新的标示，则错误节点重启后能够察觉其数 ...
HBase namespace
- 博客分类：
- HBASE
HBase系统默认定义了两个缺省的namespace
hbase：系统内建表，包括namespace和meta表
default：用户建表时未指定namespace的表都创建在此
创建namespace
hbase>create_namespace 'ai_ns'
删除namespace
hbase>drop_namespace 'ai_ns'
查看namespace
hbase>describe_namespace 'ai_ns'
列出所有namespace
hbase>list_names ...
kerberos 简介
- 博客分类：
- 大数据安全
1.1 What is Kerberos
1.1.1 简单介绍 Kerberos是一个用于鉴定身份（authentication）的协议， 它采取对称密钥加密（symmetric-key cryptography），这意味着密钥不会在网络上传输。在Kerberos中，未加密的密码（unencrypted password）不会在网络 ...
一、ranger权限管理安装
ranger安装参考：https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/ch03s01s03s01.html
二、rang kms 秘钥管理安装
ranger kms安装参考：https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/ch06s01s01s01.html
三、kerberos认证服务安装
kerb ...
Apache ranger 简介、原理、安装部署
一、Ranger简介
Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。
二、Ranger支持服务或组件
Ranger支持的服务有HDFS、Hbase、Hive、Yarn、Strom、Kafka、Knox、Solor，但要注意各个组件的版本,官网提供的版本如下：
三、Ranger编译
安装Ranger之前要进行编译， ...
mysql、oracle AES 加密
- 博客分类：
- 数据库应用
一、mysql 数据加密
AES加密解密 AES-128-ECB加密
SELECT TO_BASE64(AES_ENCRYPT('ABC','1234567890123456'));
SELECT AES_DECRYPT(FROM_BASE64('y6Ss+zCYObpCbgfWfyNWTw==') ,'1234567890123456') ;
-- AES加密
SELECT AES_ENCRYPT('1234567890123456','abcdefgh');
-- AES解密
SELECT AES_DECRYPT(AES ...
java使用AES加密解密 AES-128-ECB加密,HIVE中的加密函数使用的也是AES-128-ECB加密
加入maven 包
<dependency>
<groupId>commons-codec</groupId>
<artifactId>commons-codec</artifactId>
<version>1.9</version>
</dependency>
package com.hqgf.manager;
imp ...
关于时间的查询，比如本月，本年，本季度
- 博客分类：
- 数据中心
-- mysql查询本季度
-- 今天
select * from ticket_order_detail where to_days(use_time) = to_days(now());
-- 7天
SELECT *FROM ticket_order_detail where DATE_SUB(CURDATE(), INTERVAL 7 DAY) <= date( use_time)
-- 近30天
SELECT *FROM ticket_order_detail where DATE_SUB(CURDATE(), INTERVAL 30 DAY) <= dat ...
mysql生成日期维度表sql
- 博客分类：
- MYSQL
CREATE TABLE `dim_day` (
`DAY_ID` varchar(10) NOT NULL,
`DAY_SHORT_DESC` varchar(14) DEFAULT NULL,
`DAY_LONG_DESC` varchar(100) DEFAULT NULL,
`WEEK_ID` varchar(100) DEFAULT NULL,
`WEEK_LONG_DESC` varchar(100) DEFAULT NULL,
`MONTH_ID` varchar(100) DEFAULT NULL,
`MONTH_SHORT_DESC ...
中国省市区--地区SQL表
- 博客分类：
- java 开发
SET FOREIGN_KEY_CHECKS=0;
-- ----------------------------
-- Table structure for rc_district
-- ----------------------------
DROP TABLE IF EXISTS `rc_district`;
CREATE TABLE `rc_district` (
`district_id` smallint(5) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增id',
`pid` smallint(5) uns ...