hugh.wangp
- 浏览: 294122 次
- 性别:
- 来自: 杭州
-
最新评论
-
onlyamoment：
请问为什么要限制不合并文件呢？事实上，用动态分区写表时候容易出 ...
HIVE动态分区参数配置 -
alexss1988：
请问楼主，RCFILE由于列式存储方式，数据加载时性能消耗较大 ...
HIVE文件存储格式的测试比较 -
空谷悠悠：
jersey文档中提到:Client instances ar ...
自整理手册Jersey Client API -
bottle1：
我也遇到FileNotFoundException这个问题，发 ...
Hadoop 中使用DistributedCache遇到的问题 -
yongqi：
hi hugh.wangp: 请教您一个问题，我现在也在被 ...
Hadoop 中使用DistributedCache遇到的问题
文章列表
标识符
当你需要引用部分模式时，你需要利用命名来使用它。不同部分的命名就叫做标识符
例如：
Cypher支持带参数的查询，它允许开发者不需要do string building to create a query，同时它能使执行计划的缓存更容易。
参数可以用在WHERE子句的literals和expressions、可以用在START子句或索引查询的索引键值上、节点/关系的ID上。但是参数不能用在属性名上，因为属性是查询结构的一部分，是要编译成执行计划的。
参数名称只能是字母和数字的组合
如下是在JAVA中使用参数的几个例子：
节点ID参数
Cypher里的表达式包括：
数值(integer or double)： 13， 40000, 3.14
字符串： “hello world”
布尔值： true, false, TRUE, FALSE
识别码：n, x, rel, myFancyIdentifier, `A name with weird stuff in it[]!`
属性： n.prop, x.prop, rel.thisProperty, myFancyIdentifier.`(weird property name)`
可空属性(标记了？或！的属性)：n.prop?, n.prop!
参数：{p ...
Cypher的操作符有三类：数学、等式和关系
数学操作符：+,-,*,/和%。其中只有+能作用在字符串和集合上
等式操作符：=,<>,<,>,<=,>=
因为Neo4j是一种模式自由的图数据库，Cypher还有2个特殊的操作符？和！
他们是被用在属性上面处理缺省值，在一个不存在的属性上进行比较，一般会报错。一般在对属性值做比较前需要先判断这个属性是否存在，而在使用？的情况下，如果属性缺失，比较总是返回true，相反，使用！，比较总是返回false
例如：
WHERE n.prop? = "foo"
此断言类似o ...
Cypher系列资料包括：
Neo4j-Cypher查询语言-操作符
Neo4j-Cypher查询语言-表达式
Neo4j-Cypher查询语言-参数
Neo4j-Cypher查询语言-标识符&备注
Neo4j-Cypher查询语言-更新图数据库&事务
Neo4j-Cypher查询语言-模式(Patterns)
Neo4j-Cypher查询语言-语法
导致这种错误的原因是因为URL没有进行编码，URL不识别你提供的URL字符串
String test = "{hello world!}";
String testEncode = URLEncoder. encode(test, "utf-8" );
String testDecode = URLDecoder.decode(testEncode, "utf-8");
System. out .println(test);
System. out .println(testEncode);
System. ou ...
参考Jersey的文档http://jersey.java.net/nonav/documentation/latest/client-api.html
整理自己使用的手册，同时希望能给大家也带来便利
使用Jersey Client API的步骤
1.创建一个Client的实例
Client c = Client.create();
2.配置Client参 ...
可以快速获取知识的一本书，每小节篇幅不长，但用精简的方式表达了一种思想，于工作、于个人，看完都能引发一些思考。
把每小节个人认为比较受用的内容整理出来，于己，有空翻翻，获取不同的体会；于大家，可以快速了解本书的大概内容，以便催进大家尽快收藏这么一本好书。
卸负篇：
忘了"现实世界"：不要一味在意有些人说：这个在现实世界中完全行不通。有些人的现实，和你自己的现实世界不一样，也可能是某些人为了开脱自己的无所作为。在听到某人这句话时，要冷静思考下自己的现实世界
哪来的从错误中学习：其他人的失败仅仅代表其他人栽了跟头，你到底能从其他人的错误中吸取什么经验教 ...
网上很多HttpClient的学习源码都是3版本的，不过，既然现在HttpClient已经升级成Apache的顶级项目，自然想使用新版本。但是4版本完全是重新编写，而不能向下兼容。所以在学习调试源码时，利用的4的库，就不能直接运行3.1下的源码。
结合网上资源或自己实践，把3迁移4的一些资料收集整理于此，于己于人都会有帮助。
jar包的变更，可以在此下载最新的jar包：http://hc.apache.org/downloads.cgi
把org.apache.commons.httpclient.*修改到import org.apache.http.*。具体变更哪些，就要看利用 ...
HBASE所有功能模块的启动都是通过start-hbase.sh调起的，所以源码学习之路就从start-hbase.sh开始。
start-hbase.sh主要和如下几个启动文件相关：hbase，hbase-daemon.sh，hbase-daemons.sh，zookeepers.sh，regionservers.sh，hbase-config.sh。相关的shell源码分析可以看博客：http://blog.csdn.net/wangdi_ao/article/category/1165542
我关注start-hbase.sh的首要目的主要是了解每个功能块是调用hbas ...
shell变量
含义
$$
Shell本身的PID（ProcessID）
$!
Shell最后运行的后台Process的PID
$?
最后运行的命令的结束代码（返回值）
$-
使用Set命令设定的Flag一览
$*
所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数
$@
所有参数列表。如"$@"用「"」括起来的情况、以"$1" "$2" … "$n" 的形 ...
创建型模式：
用来创建对象的模式，是对类的实例化过程的抽象化，它帮助一个系统独立于如何创建、组合和表示它的那些对象，即为了使体系结构更加清晰，有些软件在设计上要求当创建类的具体实例时，能够根据具体的语境来动态地决定怎样创建对象，创建哪些对象，以及怎样组织和表示这些对象。
按照生成目标的不同，创建型模式可以分为类的创建型模式和对象的创建型模式。
类的创建型模式：通过使用继承关系，将类的创建交由具体的子类来完成，这样就向外界隐藏了如何得到具体类的实现细节，以及这些类的实例是如何被创建和组织在一起的。
对象的创建型模式：通过把对象的创建委托给另一个对象来完成，可以根据语境动态地决定 ...
原文见：http://www.gemini5201314.net/hadoop/hadoop-%E4%B8%AD%E7%9A%84%E4%B8%A4%E8%A1%A8join.html
作为数据分析中经常进行的join 操作，传统DBMS 数据库已经将各种算法优化到了极致，而对于hadoop 使用的mapreduce 所进行的join 操作，去年开始也是有各种不同的算法论文出现，讨论各种算法的适用场景和取舍条件，本文讨论hive 中出现的几种join 优化，然后讨论其他算法实现，希望能给使用hadoop 做数据分析的开发人员提供一点帮助.
Facebook 今年在yahoo ...
设置如下参数开启动态分区：
hive.exec.dynamic.partition=true
默认值：false
描述：是否允许动态分区
hive.exec.dynamic.partition.mode=nonstrict
默认值：strict
描述：strict是避免全分区字段是动态的，必须有至少一个分区字段是指定有值的
设置如下参数配置动态分区的使用环境：
hive.exec.max.dynamic.partitions.pernode=100
默认值：100
描述：each mapper or reducer可以创建的最 ...
自0.7版本后Hive开始支持任务执行选择本地模式(local mode)，如此一来，对数据量比较小的操作，就可以在本地执行，这样要比提交任务到集群执行效率要快很多。
配置如下参数，可以开启Hive的本地模式：
hive> set hive.exec.mode.local.auto=true;(默认为false)
当一个job满足如下条件才能真正使用本地模式：
1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)
2.job的map数必须小于参数：hive.exec.mo ...