superlxw1234
- 浏览: 555350 次
- 性别:
- 来自: 西安
-
博客专栏
-
-
Hive入门
浏览量：44968
最新评论
-
freeluotao：
public void readFields(D ...
MapReduce直接连接Mysql获取数据 -
passionke：
在spark-sql中通过insert插入数据到HBase表时 ...
SparkSQL读取HBase数据 -
annmi_cai：
好好学习，天天向上！
[一起学Hive]之十七-从Hive表中进行数据抽样-Sampling -
annmi_cai：
好好学习，天天向上！
[一起学Hive]之十六-Hive的WEB页面接口-HWI -
annmi_cai：
好好学习，天天向上！
[一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics)
文章列表
package javaapplication1;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public clas ...
set hive.optimize.sampling.orderby=true;set hive.optimize.sampling.orderby.number=10000;set hive.optimize.sampling.orderby.percent=0.1f;
记录一下，Hive中并行排序参数；
hive.optimize.sampling.orderby Default Value: false Added In: Hive 0.12.0 with HIVE-1402Uses sampling on order-by clause for par ...
将Hadoop和Hive客户端拷贝到另一台机器，除了root用户，其他运行运行hive命令均报错：
Exception in thread "main" java.io.IOException: Permission denied
at java.io.UnixFileSystem.createFileExclusively(Native Method)
at java.io.File.createNewFile(Unknown Source)
at java.io.File.createTempFile(Unk ...
因为需求，只写了年月日时的自动转换。
public static Date convertStringToDate(String time) {
String separator_yM = "";
String separator_Md = "";
String separator_dH = "";
String yyyy = "";
String MM = "";
String dd = "";
String HH = &q ...
Hive0.12+ 在Hadoop cdh3（1.0）中使用，会有如下错误：
log4j:ERROR Could not instantiate class [org.apache.hadoop.hive.shims.HiveEventCounter].
java.lang.RuntimeException: Could not load shims in class org.apache.hadoop.log.metrics.EventCounter
at org.apache.hadoop.hive.shims.ShimLoader.createShim(Shi ...
准备开发一个任务调度系统，其中使用Neo4j来保存和查询任务之间的依赖关系，
整理了一个服务类，记录一下。
使用的Neo4j版本为：2.1.3
服务类：
import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import org.apache.log4j.Logger;
import org.neo4j.graphdb.Direction;
import org.ne ...
开始之前：
exec 3>&1exec 4>&2exec &>$LOGFILE
结束后还原：
exec 1>&3 3>&-exec 2>&4 4>&-
MySQL-Cluster简介：
MySQL Cluster是一种技术，该技术允许在无共享的系统中部署“内存中”数据库的集群。通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求，适合于分布式计算环境的高实用、高冗余版本。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。
MySQL Cluster将标准的MySQL服务器与名为NDB的“内存中”集群式存储引擎集成了起来。其中术语“MySQL cluster”指的是MySQL和NDB存储引擎的组合。
MySQL-Cluster特性：
1、 通过自动分片实现高水平的写入扩展能力
...
记录下，备查。
/**
* 获取post请求响应
* @param url
* @param params
* @return
*/
public static String urlPostMethod(String url,String params) {
HttpClient httpClient = new HttpClient();
PostMethod method = new PostMethod(url);
try {
if(params != null && !params.trim().equ ...
记录备用。。
test.thrift
namespace java com.lxw.data.aggregation.test
struct PhysicalDeviceModel{
1:i32 id ;
2:string name;
3:string status;
4:string ip;
5:string pool;
}
service PhysicalDeviceServices {
void addPhysicalDevice(1:PhysicalDeviceModel device),
Physi ...
下载依赖包：https://downloads.cloudera.com/impala-jdbc/impala-jdbc-0.5-2.zip
将解压后的jar包拷贝到提供JDBC服务的Impalad node上，/usr/lib/impala/lib/
package impala;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Stateme ...
环境配置：
hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node)
hbase-0.94.6-cdh4.3.0 (4 nodes,maxHeapMB=9973/node)
hive-0.10.0-cdh4.3.0
一、查询性能比较：
query1: select count(1) from on_hdfs; select count(1) from on_hbase; query2(根据key过滤) select * from on_hdfs where ...
因机器断电或其他异常导致的supervisor意外终止，再次启动时报错：
2013-09-24 09:15:44,361 INFO [main] daemon.supervisor (NO_SOURCE_FILE:invoke(0)) - Starting supervisor with id 74332654-8925-48a1-b67b-7eacaa52aeca at host hadoop02
2013-09-24 09:15:45,246 ERROR [Thread-2 ...
hive> desc t;
OK
id string
str string
Time taken: 0.249 seconds
hive> select * from t;
OK
1 A
1 B
2 C
2 D
Time taken: 0.209 seconds
在Hive0.9中，可用：
SELECT id,concat_ws('|', collect_set(str)) FROM t GROUP BY id;
得到结果：
1 A|B
2 C|D
但在hi ...
Mysql中数据：
mysql> select * from lxw_tbls;
+---------------------+----------------+
| TBL_NAME | TBL_TYPE |
+---------------------+----------------+
| lxw_test_table | EXTERNAL_TABLE |
| lxw_t | MANAGED_TABLE |
| lxw_t1 | MANAGED_TABLE |
...