u010815305
- 浏览: 30204 次
- 性别:
- 来自: 北京
-
最新评论
-
u010815305：
多说一句，这个差不多1000多万行的数据，在hive上处理时间 ...
我迄今为止写的最长的SQL
文章列表
shell大文件分割成小文件
- 博客分类：
- Shell
上周做mysql的数据同步遇到的问题记录如下:
将hive中的一张大表数据同步到mysql,由于公司对mysql的binlog的限制,因此如果一次全量同步的话(也就是一次load data)会触发mysql的binlog过大错误,因此,就需要将从hive中捞出的数据(在一个打文件中)文件分割成小文件进行load;
使用shell的split解决这个问题:split -d -l
再分别将小文件load即可
hive分区表添加新字段后显示为NULL的问题
- 博客分类：
- hive
昨天在组内的一个hive分区表中添加了一个字段,然后LOAD数据的时候出现NULL的情况,但是在hdfs上明明不是NULL,经过反复排查,最后在http://blog.csdn.net/xiao_jun_0820/article/details/45560591找到解答,但是我按上面的步骤操作的时候遇到找不到SDS,所以用了另外一种方法.
由于我的分区表是外部表,所以我先删除了分区,然后在添加分区,问题解决.
alter table `table_name` drop partition (`partition_column_name`="partition_value&quo ...
我迄今为止写的最长的SQL
- 博客分类：
- MySQL
今天看我14年实习的时候，当时我的导师在博客中写到了一段差不多50多行的sql，说是他写的最长的sql，
想想工作的这一年，其实我也写了不少sql，因为自身是做数据开发方面的工作，写sql是免不了的，哈哈~
今天刚好是五一假后上班的第一天，也不想干什么事，就写写博客吧，好久没有记录啦。好，言归正传，
就说sql吧， 去年我们数据组要把之前的从mysql中的提取基础数据的工作给做到hive里面去，因为我是做
基础数据这块的，所以就开始做这个。从hive中抽取30多张最基础的表，然后通过各种join提取一些基础
字段，这个sql总共380多行。。。当然我还是中间用了unio ...
Linux Shell
- 博客分类：
- Shell
x=1
y=2
z=$x+$y
echo $z 1+2
调用变量 $变量
echo 输出
用户自定义环境变量
export 变量名=变量值
set 查看所有变量
env 查看环境变量
unset 变量名 删除变量
PATH="$PATH":/root/sh
增加path变量的直 临时实效 要想永久生效 ：写入对应的文件中
PS1 echo PS1
当前操作的提示符
ls \ 换行输入
locale 查询当前系统语系
-LANG：主语系变量
-LC_ALL:整体语系变量
$n
$* 看 ...
存储过程
预编译集合 一个单元处理
CREATE PROCEDURE sp_name routne_body
过程体由合法的SQL语句构成
过程体可以使任意SQL语句
创建没有参数的存储过程
create procedure sp1() select version()
调用：
call sp1();
创建带有参数的存储过程
create procedure removeUserById(IN pid INT UNSIGNED)
begin
delete from users where id = pid;
end
调用：call removeUserByI ...
资源：点击打开链接highstock 中文官网。
jsp中导入：<script src="<c:url value="/resources/js/highstock.js"></c:url>"></script>
jsp页面加入
<div id="historyChart" style="min-width:1050px;height:350px"></div>
<div class="tab-pane ...
- 2015-04-15 17:34
- 浏览 807
- 评论(0)
启动mongomongodb所在的目录D:\MongoDB\data是mongo数据的备份地点。D:\MongoDB\Server\3.0\bin>mongod.exe --dbpath D:\MongoDB\data
创建数据库：
MongoDB没有创建数据库的命令，但有类似的命令。
如：如果你想创建一个“myTest”的数据库，先运行use myTest命令，之后就做一些操作（如：db.createCollection('user')）,这样就可以创建一个名叫“myTest”的数据库。
查询数据：
查询name中包含 mongo的数据
db.collec ...
- 2015-04-15 14:03
- 浏览 460
- 评论(0)
首先建立maven 工程，pom.xml的内容如下：
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4. ...
一.maven是目前项目中比较流行的版本控制方法，整理一下maven的配置基本的maven项目的创建过程以及创建中遇到的问题：1. 新建maven项目(选择Maven Project)2. 点击下一步3. 在Filter中输入webapp（选择maven-archetype-webapp，然后Next）4. Group Id--主项目名5. 此时的工程项目结构并不完整，需将将其编程web项目；本地安装tomcat6，web module需要设为2.5，本地设为jdk1.6在这一步的默认值的需要按需求修改，在修改过程中，java设为1.6的时候，Dynamic Web Module无法设置为2.5 ...
- 2014-11-25 19:30
- 浏览 395
- 评论(0)
题目描述：
在数组中的两个数字，如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。输入一个数组，求出这个数组中的逆序对的总数。
输入：
每个测试案例包括两行：
第一行包含一个整数n，表示数组中的元素个数。其中1 <= n <= 10^5。
第二行包含n个整数，每个数组均为int类型。
输出：
对应每个测试案例，输出一个整数，表示数组中的逆序对的总数。
样例输入：
7 5 6 4
样例输出：
- 2014-09-13 23:48
- 浏览 743
- 评论(0)
#include<stdio.h>
#include<stdlib.h>
#include<string.h>
char firstNotRepeatingChar(char* pString)
{
if(pString==NULL)
return '\0';
const int tablesize = 256;
unsigned int hashtable[tablesize];
for(unsigned int i=0;i<tablesize;i++)
{
hashtable[i]=0;
}
cha ...
- 2014-09-10 22:23
- 浏览 428
- 评论(0)
题目：我们把只包含因子
2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第1500个丑数。
思路:
我们可以创建一个数组，里面的数字 ...
- 2014-08-17 20:46
- 浏览 492
- 评论(0)
题目：输入一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的一个。例如输入数组{32, 321}，则输出这两个能排成的最小数字32132。请给出解决问题的算法，并证明该算法。
分析：这是09年6月份百度新 ...
- 2014-08-16 22:27
- 浏览 459
- 评论(0)