lt200819
- 浏览: 188011 次
- 性别:
- 来自: 北京
-
最新评论
-
duguyiren3476：
我现在的版本是drill0.8.0版本的,搭建了分布式4个节点 ...
walter的drill笔试之二-安装与部署 -
zhangth：
写的不错，受教了
图片分离之图片服务器问题 -
lt200819：
zh55com 写道如何查询mysql数据？如何查询hbase ...
walter的drill笔试之二-安装与部署 -
zh55com：
如何查询mysql数据？如何查询hbase数据？
walter的drill笔试之二-安装与部署 -
QuarterLifeForJava：
不错，挺好的，那如果是update、delete、insert ...
Mysql百万级数据查询优化
文章列表
安装
系统环境
linux版本：redhat6
jdk:jdk1.7
1.本地安装与测试
1.1安装
1.1.1下载Drill M1 binary release
http://people.apache.org/~jacques/apache-drill-1.0.0-m1.rc3/apache-drill-1.0.0-m1-binary-release.tar.gz
1.1.2 解压apache-drill-1.0.0-m1-binary-release.tar.gz并做链接
tar -zxf apache-drill-1.0.0-m1-binary-release.t ...
一、官方网站下载zookeeper-3.4.5：http://www.apache.org/dyn/closer.cgi/zookeeper/
二、将下载得到的zookeeper-3.4.5.tar.gz放到指定的目录中，自己统一放在了/home/{用户名}下，tar解压缩，创建zookeeper链接ln -s zookeeper-3.4.5 zookeeper
三、设置环境变量：
为了方便运行zkServer.sh脚本，我们将zookeeper的bin路径加入到.bashrc中，作为一个变量进行输出到PATH中，记得修改完成之后断开链接，重新登录使修改生效。
expo ...
Drill：大数据的交互式分析
简介
Dril是开源世界中“交互式”的数据分析系统。目标是可以组建超过10000台机器的集群，并且可以在秒级处理PB级别或者万亿条数据。Hadoop作为大数据处理的事实标准，设计目标是实现大 ...
简介
Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据，需要分钟级的时间。作为MapReduce的发起人，Google开发了Dremel将处理时间缩短到秒级，作为MapReduce的有力补充。Dremel作为Google BigQuery的report引擎，获得了很大的成功。最近Apache计划推出Dremel的开源实现Drill，将Dremel的技术又推到了浪尖上。
Google Dremel设计
根据Google公开的论文《Dremel: Interactive Analysis of Web ...
经过对storm的初步了解，storm 主要运用于实时计算，并且可以自定义数据流的逻辑拓扑结构。下面是一些说明。storm是否符合您的应用场景？如果还有其他需求，也请提出来。
在使用方式上简单的与hadoop比较：
hadoop数据源一般是离线的、静态的 storm数据源一般是实时的，可与kafka结合
hadoop数据处理完成，自动结束任务 需要手动关闭处理
hadoop拓扑结构比较固定 storm可以自定义数据处理拓扑结构
不需要关心消息可靠性 需要关心消息可靠性
使用场景举例：
1 实时计算top n ...
Hadoop YARN框架调研以及问题总结
1.YARN总体介绍
YARN的根本思想是将 JobTracker 两个主要的功能分离成单独的组件，分别是全局资源管理器(Resouce Manager ,RM)和每个应用独有的Application Master(AM)。RM管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaste
在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢?
1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断
select * from people
where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)
2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的记录
delete from people
where peopleId in ( ...
import java.io.FileInputStream;
import java.io.PrintStream;
import java.util.Scanner;
/* ********\\\\\\\\\\/////////********
this is test program
this is test program
this is test program
*/
public class Solution {
private static final char MARK = '"';
private static fina ...
jsp是大家最熟悉的技术 优点： 1、功能强大，可以写java代码 2、支持jsp标签（jsp tag） 3、支持表达式语言（el） 4、官方标准，用户群广，丰富的第三方jsp标签库 5、性能良好。jsp编译成class文件执行，有很好的性能表现 缺点： jsp没有明显缺点，非要挑点骨头那就是，由于可以编写java代码，如使用不当容易破坏mvc结构。 velocity是较早出现的用于代替jsp的模板语言 优点： 1、不能编写java代码，可以实现严格的mvc分离 2、性能良好，据说比jsp性能还要好些 3、使用表达式语言，据说jsp的表达式语言就是学velocity的 缺点： 1、不是官方标准 ...
infobright的中文编码问题
- 博客分类：
- 数据库与Nosql
中文乱码的问题的终极解决方案就是所有地方都用同一个字符集，gbk或者utf8，我选用了utf8
infobright的设置方法和mysql自身的大同小异
1.新建数据库时设置default character set 为utf8，defualt collation为utf8_bin
2.新建表时也指定为utf8
3.设置/etc/my-ib.cnf中
collation_server=utf8_bin
character_set_server=utf8
然后再最后加入
init-connect=SET NAMES utf8
本文发表在Proceedings of IEEE CCIS2012
地址：http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=1&CurRec=1&recid=&filename=IEEE201210004130&dbname=IPFDLAST2013&dbcode=IPFD&pr=&urlid=&yx=&uid=WEEvREcwSlJHSldSdnQ1ZStPbklVazMzc0tBUXNlOUxRMEpBWTVQYS9qRzlPZ2pmcUp0MEdGZ29pNT ...
引言
HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，而且HTTP-NG(Next Generation of HTTP)的建议已经提出。HTTP协议的主要特点可概括如下：1.支持客户/服务器模式。2.简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定 ...
RESTFul以及实现
- 博客分类：
- JAVAWeb
什么是REST？
REST (REpresentation State Transfer) 描述了一个架构样式的网络系统，比如 web 应用程序。它首次出现在 2000 年 Roy Fielding 的博士论文中，他是 HTTP 规范的主要编写者之一。REST 指的是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是 RESTful。
Web 应用程序最重要的 REST 原则是，客户端和服务器之间的交互在请求之间是无状态的。从客户端到服务器的每个请求都必须包含理解请求所必需的信息。如果服务器在请求之间的任何时间点重启，客户端不会得到通知。此外，无状态请求可以由任何可用服务 ...
海量数据处理之四：堆
- 博客分类：
- 海量数据处理
什么是堆】 概念：堆是一种特殊的二叉树，具备以下两种性质 1）每个节点的值都大于（或者都小于，称为最小堆）其子节点的值 2）树是完全平衡的，并且最后一层的树叶都在最左边 这样就定义了一个最大堆。
那么下 ...
isspace(int x){ if(x==' '||x=='\t'||x=='\n'||x=='\f'||x=='\b'||x=='\r') return 1; else return 0;}isdigit(int x){ if(x<='9'&&x>='0') return 1;x` else return 0;
}int atoi(const char *nptr){ int c; /* current char */ int total; /* curr ...