chakey
- 浏览: 363918 次
- 性别:
- 来自: 水星
-
最新评论
-
mafuli007：
【6】MongoDB数据导入和导出 -
xchd：
czwq2001 写道我带hbase执行的时候出现以下异常，不 ...
Hive HBase整合使用 -
shanxu9198：
geilivable
HBase的数据模型 -
johnnyzuo：
不起作用。希望LZ以后自测后再发，这样很容易误导初学者
hadoop自动清除日志文件的配置方法 -
hongzhi0618：
你好，我到这一步的时候，echo "test mes ...
[4] Scribe使用例子3
文章列表
MySQL中经常使用到GROUP_CONCAT()这个函数，在Pg中可以通过数组来实现：
pgd=# create aggregate group_concat (anyelement)
(
sfunc = array_append,
stype = anyarray,
initcond='{}'
);
这样句式结构可以和MySQL的一样：
SELECT userid,group_concat(book_count) as bcn FROM book_test_table ;
Linux的split命令可以用来分割文件
-a, --suffix-length=N use suffixes of length N (default 2)
-b, --bytes=SIZE put SIZE bytes per output file
-C, --line-bytes=SIZE put at most SIZE bytes of lines per output file//这个命令在保证数据行完整性的前提下，按大小分割文件
-d, --numeric-suffixes use numeric suffix ...
源代码下载页面
http://www.postgresql.org/ftp/source/
我选择的是v8.4.4
wget http://ftp9.us.postgresql.org/pub/mirrors/postgresql/source/v8.4.4/postgresql-8.4.4.tar.gz
解压
tar xzvf postgresql-8.4.4.tar.gz
使用默认参数configure
cd postgresql-8.4.4
虽然可以使用 kill -9 来强制删除用户进程，但是不建议这么去做。
因为：对于执行update的语句来说，kill掉进程，可能会导致Postgres进入到recovery mode
而在recovery mode下，会锁表，不允许链接数据库。
通常情况下：使用如下语句
=# select datname,procpid,query_start,current_query,waiting,client_addr from pg_stat_activity where waiting='t';
来查看有哪些SQL正在执行。
通过命令：
=# select pg_canc ...
select id ,name,uid
from a_result_user
where id >= '20101111'
into outfile '/tmp/a_result_user'
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
Linux下运行的Web服务器Apache，默认日志文件是不分割的，一个整文件既不易于管理，也不易于分析统计。安装cronolog后，可以将日志文件按时间分割，易于管理和分析。
cronolog安装配置非常简单，下载后只需要输入几个命令即可完成。
1、下载（最新版本）
# wget http://cronolog.org/download/cronolog-1.6.2.tar.gz
2、解压缩
# tar zxvf cronolog-1.6.2.tar.gz
3、进入cronolog安装文件所在目录
# cd cronolog ...
mongodb@krusiting-laptop:~/hive-0.6.0$ bin/hive
Exception in thread "main" java.lang.RuntimeException: Could not load shims in class null
at org.apache.hadoop.hive.shims.ShimLoader.loadShims(ShimLoader.java:90)
at org.apache.hadoop.hive.shims.ShimLoader.getHadoopShims(ShimLoader.jav ...
mongodb@krusiting-laptop:~/hive-0.6.0$ bin/hive
Invalid maximum heap size: -Xmx4096m
The specified size exceeds the maximum representable size.
Could not create the Java virtual machine.
解决方法：
~/hive-0.6.0/bin/ext/util$ vim execHiveCmd.sh
修改
HADOOP_HEAPSIZE=4096
为
HADOOP_HEAPSIZE=256
...
update()
语法结构是：
db.collection.update( criteria, objNew, upsert, multi )
参数:
criteria - 查询需要更新的项;
objNew - 更新的对象或者 $ operators (例如 $inc) 这样的操作因子
upsert - 是否是 "upsert"; 也就是说如果记录不存在是否插入新的记录
multi - 是否所有满足criteria的在整个文档都更新
注意：在缺省情况下，update()只会更新第一个满足条件的项。如果需要修改所以的满足条件的
项的话，需要使用multi ...
MySQL中on duplicate key update username = VALUES(username),maxdate = VALUES(maxdate),
在PostgresSQL中如何实现呢?
MySQL中的语句:
insert into db select distinct username ,mindate,maxdate from test_table on duplicate key update username = VALUES(username),maxdate = VALUES(maxdate);
PostgresSQL中实现:
步骤一 ...
1：怎样导入文本文件（格式是怎样的？），2：怎样查询数据，已经能否在join中使用？在子查询中使用？等等知道怎么在hive中导入数组不？例如：我想把 数组[1,2,3] 和 数组 ["a","b","c"]导入到table1中create table table2 ( a array<int> , b array<string>);那么 我如何 导入呢？使得select * from table1;j结果为：[1,2,3] ["a","b","c&quo ...
hive> create table mp (a string) partitioned by (b string, c string);OKTime taken: 0.044 secondshive> alter table mp add partition (b='1', c='1');OKTime taken: 0.079 secondshive> alter table mp add partition (b='1', c='2');OKTime taken: 0.052 secondshive> alter table mp add parti ...
执行sql语句时,出现如下错误信息:
Unexpected eof found when reading file '/home/tmp/MYvFQFtT' (Errcode: 0)
查看mysql日志
cat /var/log/mysqld.log | grep 100916
发现:
错误信息为: [ERROR] /usr/libexec/mysqld: Sort aborted
解决办法：
cat /etc/my.cnf | grep sort_buffer_size
vi /etc/my.cnf
将sort_buffer_size 改的小一些 问题 ...
How to load data into Hive------------------------In order to load data into Hive, we need to tell Hive the format of the datathrough "CREATE TABLE" statement:FileFormat: the data has to be in Text or SequenceFile.Format of the row:If the data is in delimited format, use MetadataTypedC ...
【7】MongoDB分片管理（Sharding Administration）
下面介绍几个非常有用的命令，可以获取一个分片集群的一些配置信息。
关于如何配置分片请查看：
http://datalife.iteye.com/blog/805201
一：如果判断是否是分片集群？
// Test if we're speaking to a mongos process or
// straight to a mongod process
> db.runCommand({ isdbgrid : 1});
// if connected to mongos, ...