lt200819
- 浏览: 188239 次
- 性别:
- 来自: 北京
-
最新评论
-
duguyiren3476：
我现在的版本是drill0.8.0版本的,搭建了分布式4个节点 ...
walter的drill笔试之二-安装与部署 -
zhangth：
写的不错，受教了
图片分离之图片服务器问题 -
lt200819：
zh55com 写道如何查询mysql数据？如何查询hbase ...
walter的drill笔试之二-安装与部署 -
zh55com：
如何查询mysql数据？如何查询hbase数据？
walter的drill笔试之二-安装与部署 -
QuarterLifeForJava：
不错，挺好的，那如果是update、delete、insert ...
Mysql百万级数据查询优化
文章列表
FAILED: Error in metadata: MetaException(message:Could not connect to meta store using any of the URIs provided)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
元数据用MYSQL存储时，会出现此EXCEPTION。
除了检查链接数据是否正确意外，最大的原因就是没有开启metastore服务
[root @.. bin]# hive --service ...
hadoop 2.x 的一些改进
- 博客分类：
- hadoop
apache hadoop 2.x 是在1.x版本上做了重大的改进。
以下是一个关于HDFS和MapReduce的简短的改进概述。
HDFS Federation
为了提升name service 的水平扩展性，federation使用多个独立的Namenodes/Namespaces。Namenodes独立运行且不需要与其他namenode协作运行。datanodes为所有namenode提供通用的blocks存储服务。每个datanode注册到集群中所有的namenode上。datanode发送heartbeats、block reports和执行从namenode传来的命令。 ...
转载 Python2.x 字符编码详解
- 博客分类：
- python
Python字符编码详解
本文简单介绍了各种常用的字符编码的特点，并介绍了在python2.x中如何与编码问题作战 ：） 请注意本文关于Python的内容仅适用于2.x，3.x中str和unicode有翻天覆地的变化，请查阅其他相关文档。 尊重作者的劳动，转载请注明作者及原文地址 >http://www.cnblogs.com/huxi/archive/2010/12/05/1897271.html<
1. 字符编码简介
1.1. ASCII
简介
本文介绍如何在Eclipse中通过maven插件编写java项目和web项目。
安装Maven
下载Maven最新版本，见：maven.apache.org/download.html当前版本2.0.7。解压缩下载的文件, 将其中的bin目录设置到windows Path环境变量中.测试安装是否成功：在命令行中输入
mvn -version
安装Maven插件
安装Eclipse的Maven插件M2Eclipse。
Apache Maven 入门篇 ( 上 )
- 博客分类：
- JAVA
写这个 maven 的入门篇是因为之前在一个开发者会的动手实验中发现挺多人对于 maven 不是那么了解，所以就有了这个想法。这个入门篇分上下两篇。本文着重动手，用 maven 来构建运行 hellow world 程序，体会一下不用任何 IDE ，只用 maven 是咋回事。然后下篇就讲解一下 maven 的核心概念。写这两篇文章特意回避了复杂的示例，也不使用 IDE ，目的是排除干扰，着重于 maven 本身。
本文的源代码可从这里下载。
Apache Maven 是做什么用的？
Maven 是一个项目管理和构建自动化工具。但是对于我们程序员来说，我们最关心的是它的项目构 ...
Apache Maven 入门篇(中)
- 博客分类：
- JAVA
第一篇文章大概的介绍了一下Apache Maven以及它的下载和安装，并且运行了一个简单的示例。那么在对maven有了一点接触后，接下去的一步是要了解maven的核心概念，这样才能在使用maven的时候游刃有余。
接下来我们介绍下面这几个核心概念：
POM (Project Object Model)
Maven 插件
Maven 生命周期
Maven 依赖管理
Maven 库
POM (Project Object Model)
一个项目所有的配置都放置在 POM 文件中：定义项目的类型、名字，管理依赖关系，定制插件的行为等等。比如说，你可以配置 co ...
Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本0.1.0发布于2004年10月4日。2011年6月1日 ...
REST架构风格是全新的针对Web应用的开发风格，是当今世界最成功的互联网超媒体分布式系统架构，它使得人们真正理解了Http协议本来面貌。随着 REST架构成为主流技术，一种全新的互联网网络应用开发的思维方式开始流行。 REST是什么 REST是英文Representational State Transfer的缩写，中文翻译为“表述性状态转移”，他是由Roy Thomas Fielding博士在他的论文 《Architectural Styles and the Design of Network-based Software Architectures》中提出的一个术 ...
linux下的sort命令
- 博客分类：
- linux
linux sort 命令详解
sort是在Linux里非常常用的一个命令，管排序的，集中精力，五分钟搞定sort，现在开始！
1 sort的工作原理
sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。
[rocrocket@rocrocket programming]$ cat seq.txtbananaapplepearorange[rocrocket@rocrocket programming]$ sort seq.txtapplebananaorangepear
2 sort的-u选项
它的作 ...
linux下的sed命令
- 博客分类：
- linux
sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法sed命令行格式为： sed [-nefri] ‘command’ 输入文本
常用选项： -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。 -e∶直接在指令列模式上进行 sed 的动作编辑； -f∶直接将 sed 的动作 ...
转自：http://slaytanic.blog.51cto.com/2057708/939950
翻译Hive官方文档系列，文中括号中包含 注: 字样的，为我自行标注的，水平有限，翻译不是完美无缺的。如有疑问，请参照Hive官方文档对照查看。
内容列表
Cloudera制作的Hive介绍视频
hive 安装部署手册
- 博客分类：
- Hive
安装环境:
机器 只需要安装一台机器 操作系统:mac os 10.8 64操作系统 hadoop:版本是1.0.4,安装在/Users/~/Software/hadoop sun jdk:版本是1.6.0_31 64bit,安装在/usr/local/jdk hive:版本是0.9.0,安装在/Users/~/Software/hive
安装步骤:
1.下载
下载hive:http://hive.apache.org/releases.html
Pig Latin：数据流编程语言
一个Pig Latin程序是相对于输入的一步步操作。其中每一步都是对数据的一个简单的变换。
用Pig Latin编程更像在RDBMS中“查询规划器”（query planner）这一层对数据进行操作，查询规划器决定了如何将描述型语句转化为一系列系统化执行的步骤。
Pig对它所处理的数据要求则宽松得多；可以在运行时定义模式，而且这是可选的。本质上，Pig可以在任何来源的元组上进行操作。（当然数据源必须支持并行的读操作，例如存放在多个文件中）。它使用UDF（User define feature）从原始格式中读取元组。最常用的输入格式使用制表符分隔的字段 ...