文章列表
hive数据仓库要点
- 博客分类：
- HIVE
1.hive 配置开启支持事务
A.开启hive 的 ACID Transactions（hortonworks下配置了ACID开关按钮）
B.针对原生态与CDH版的hive配置如下：
<property>
<name>hive.support.concurrency</name>
<value>true</value>
</property>
<property>
<name>hive.exec.dynamic.partitio ...
MYSQL MGR模式注意事项
- 博客分类：
- MYSQL
MySQL Group Replication(MGR)使用简介与注意事项
偏执的工匠 关注
2018.07.23 16:18* 字数 1678 阅读 1519评论 0喜欢 0
MySQL Group Replicati
Atlas是360团队弄出来的一套基于MySQL-Proxy基础之上的代理，修改了MySQL-Proxy的一些BUG，并且优化了很多东西。而且安装方便。配置的注释写的蛮详细的，都是中文。英文不好的同学有福了。
Atlas官方链接： https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md
Atlas下载链接： https://github.com/Qihoo360/Atlas/releases
环境：
系统
IP
一、配置vnc
1. 安装vnc
# yum install tigervnc-server -y
2.配置配置文件
# cp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:1.service
3.修改配置文件
# vim /etc/systemd/system/vncserver@:1.service
[Unit]
Description=Remote desktop service (VNC)
After=syslog.target net ...
sqoop导入数据到hive中，数据不一致
- 博客分类：
- HIVE
sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" -D mapreduce.job.queuename=hqgf --connect jdbc:mysql://xxx.xx.x.xxx:1234/hqmart_nc --username bitest --password 123456 --table rent_contract_baseinfo --hive-import --create-hive-table --hive-table hqgf_ods_nc.rent_contrac ...
由于MSCRM的异构性和封闭性，许多其它的平台无法直接调用MSCRM提供的API接口，一般的处理方式是用.net编写webservice，通过中间这一层转换来使其它系统调用我们自己编写的webservice.下面演示如何开发可调用MSCRM2013 API的webservice。
主要步骤：
新建asp.net web项目
编写代码
验证服务
生成项目，并将相关文件拷贝到CRM的指定路径
一.新建项目
右键点击资源管理器项目，并添加一个web服务，此处名称为：MSCRMWebServiceDemo
引用相关的DLL文件
public class SkuVo {
private Long skuId;
private String productName;
private Long brandStoreSn;
public SkuVo(Long skuId, String productName, Long brandStoreSn) {
super();
this.skuId = skuId;
this.productName = productName;
this.brandSto ...
maven添加sqlserver的jdbc驱动包
jdbc.jar download url->http://pan.baidu.com/s/1hrEhdti
通过maven命令将jar包安装到本地。
在有sqljdbc4.jar包的文件夹下，通过shift+右键的方式--》此处打开命令窗口，然后执行以下maven命令
mvn install:install-file -Dfile=sqljdbc4.jar -Dpackaging=jar -DgroupId=com.microsoft.sqlserver -DartifactId=sqljdbc4 -Dversio ...
Spring boot 常见错误
- 博客分类：
- SpringBoot
从spring-boot官网上看的例子，自己试着写了一个 返回name和id的小接口，一开始访问http://localhost:8080/getPerson 报错 :
Whitelabel Error Page
This application has no explicit mapping for /error, so you are seeing this as a fallback.
Wed Dec 14 16:35:25 CST 2016
There was an unexpected error (type=Not Found, status=404).
No ...
Linux 平台安装R 和 Rserver
- 博客分类：
- R语言
Linux centos7 yum安装R
yum install R
Linux centos7 yum安装Rstudio:
wget https://download2.rstudio.org/rstudio-server-rhel-1.1.456-x86_64.rpm
yum install rstudio-server-rhel-1.1.456-x86_64.rpm
Linux centos7 安装Rserve:
root用户下输入R命令：
#R
进 ...
TPC-H 基准测试是由 TPC-D发展而来的。TPC-H 用 3NF 实现了一个数据仓库, 用于商业智能计算测试。可从http://www.tpc.org/tpch/中下载tpch_2_14_0.zip ，放入Linux 环境目录下。解压缩unzip tpch_2_14_0.zip, 在生成的文件 cp makefile.suite makefile , 编辑vi makefile
################
CC = gcc
# Current values for DATABASE are: INFORMIX, DB2, TDAT (Teradata)
...
HANA常用CE FUNCTION
- 博客分类：
- 内存数据库HANA
注意：以下代码中的数据表来自TPC-H生成的数据表
--1.CE_COLUMN_TABLE 这个函数使用一个已经存在的列存储表格作为数据源，选取其全部或者部分列，返回相应内容绑定到一个表变量上。
-- 注意：TT_CUSTOMER 为创建的表类型
create type TT_CUSTOMER as table(
C_CUSTKEY integer,
C_NAME varchar(25),
C_ADDRESS varchar(40)
);
DROP PROCEDURE ProcWith_CE_COLUMN_TABLE;
CREATE PROCE ...
TPC-H数据导入MySQL教程
- 博客分类：
- MYSQL
0. TPC-H是啥
TPC-H是TPC提供的一个benchmark，用来模拟一个现实中的商业应用，可以生成一堆虚构的数据，且自带一些查询，可以导入到各种数据库中来模拟现实需求，检查性能。
具体是怎样的数据见：http://www.tpc.org/tpch/spec/tpch2.16.0.pdf
1. 获取文件
首先到官网 http://www.tpc.org/tpch/ 在右边的 DBGEN & Reference Data Set 下载到下面那个.zip，然后自己选一个路径解压过去。
2. 修改 makefile
对于Eclipse Oxygen，请添加URL https://tools.hana.ondemand.com/oxygen
对于Eclipse luna，请添加URL https://tools.hana.ondemand.com/luna
对于Eclipse luna，请添加URL https://tools.hana.ondemand.com/kepler
之前上班做spring+spring mvc +hibernate开发， 2年之久不做想复习一下aop的使用，结果配置遇见aop不生效，解决而记录！
先上代码直接看反例效果会明显：
首先看一下我的代码的包路径：
接下来看Spring-MVC的配置文件部分代码:
<?xml version="1.0" encoding="UTF-8"?>
<beans