chenchangqun
- 浏览: 55262 次
- 性别:
- 来自: 大连
-
最新评论
-
shaoscj163：
...
大话分布式事务-概念篇 -
381573578：
Ended Job = job_1400812181187_0 ...
hive 安装 bug汇总
文章列表
本文包括以下内容
1. initAndRegister-createChannel分析
2. initAndRegister-createChannel分析
3. ChannelInitializer分析
创建channel-server端bind()调用链如下
sever端启动主要处理都在bind(）处理中，其中主要代码如下
AbstractBootstrap
private ChannelFuture doBind(final SocketAddress localAddress) {
final ChannelFuture regFuture = i ...
how to fix distributed transation
分布式事务中的概念众多，解决方案也很多。
怎么样去理解， 怎么使用
知识点
硬性事务：单机数据库事务，分布式数据库事务。如 OceanBase,TiDB.
柔性事务：针对 硬性事务而言，规避硬性事务实 ...
how to understand CAP
CAP不好理解， 常规解释
C： 一致性
A： 可用性
P：分区容忍性
虽然搞不清CAP的意思，可以知道他们之间是相互影响的。
try to understand CAP
OK 我们试着从CAP的出生理解，我觉得这样理解能更加的透彻。
C ...
想解决一个源码的疑问，需要debug otter node模块。
开启同步任务后，local node 的 mainstem一直 显示：定位中，数据更改后，同步功能不可用。
bug信息如下
pid:8 nid:3 exception:canal:test_cancal_debug:java.lang.NullPointerException
at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.loadBinlogChecksum(MysqlConnection.java:284)
at c ...
目前的机器资源还是很紧张, 单个虚拟机上只部署一个broker有点浪费.希望能实现交叉部署，如图
在配置文件 中配置好了 listenPort后
当一台虚拟机启动第二个 broker，报出如下异常
java.net.BindException: Address already in use: bind
at sun.nio.ch.Net.bind0(Native Method)
at sun.nio.ch.Net.bind(Unknown Source)
at sun.nio.ch.Net.bind(Unknown Source)
at sun.nio.ch.Serve ...
源码下载地址：https://github.com/alibaba/RocketMQ
配置好的项目如下图
broker 的启动类 ： com.alibaba.rocketmq.broker.BrokerStartup
broker启动 需要加载配置文件，如下
broker-c.properties
brokerClusterName=DefaultCluster
brokerName=broker-c
brokerId=0
listenPort=10911
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_ ...
rocketmq的安装和配置请参照下文，附件中的电子书 用户指南3.2.4第44页有相关内容
http://chenchangqun.iteye.com/admin/blogs/2341749
这里讲多主多重异步复制 模式的配置，假设2主2从,2个nameserver，且环境已经配置好,
nameserver都已经启动。
则命令如下
/opt/ali-rocketmq/devenv 是安装 rocketmq 的目录。注意 多个nameserver使用分号 分割
master1启动
nohup sh mqbroker -n "10.103.16.77:9876;1 ...
rocketmq这么复杂的东西，没有运维工具可搞不定啊。
哈哈，别急，官方提供了一个WEB项目，可以查看rocketmq数据和执行一些操作。
而且我自己也添加了一些功能
官网：https://github.com/rocketmq/rocketmq-console
运行修改一下namesers的地址，注意多个地址用 分号 分割
下面是成功页面，cluster查询broker集群的tps和出队入队情况。
topic查询生产和消费信息
connection查询生产则和消费者的连接信息。
其他的不讲了，多试试就明白了。
注意consumer这一项，可以查询消息积压 ...
rocketmq的配置和demo搞定后，离上线运用 还有很多问题要解决
如： 怎样集成 到项目中，并做到规范,易用。使用中有哪些问题是需要考虑的，监控运维问题怎么解决。
本文先解决 客户端集成，下面贴出我经过反复试验后的最终代码和配置。
本文贴出的代码和配置都是经过反复测试和验证，并在实际项目中使用的，目前只使用几个重要的参数，更精细的配置请参考官方文档。
pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001 ...
工作多年，做过和学习过不少东西
搞过ORM框架,读过 spring ,struts2,mina ,proxool,源码。
研究过spring mvc
搞过 IM架构和实现，搞过 hive和hadoop.
遗憾都没有完整的记录下来，仅有的记录都是碎片，零星的东西，不成体系。
更悲催的是 其中大部分都已经淡忘，真是惨痛的教训。
决定梳理并记录所学，痛下决心，发奋图强。
由于项目需求，要上RocketMq,经过一帆折腾终于成功搞定
期间遇到一些坑，并收集了一些文章，做个分享 希望对大家有帮助。
我主要是参照下面文章安装
http://blog.csdn.net/loongshawn/article/details/51086876
安装期间遇到一些问题
（1）安装包从哪里搞
（2）com.alibaba.rocketmq.client.exception.MQClientException: No route info of this topic 这个异常怎么解决？
问题（1）从githup 上download下来后编译生成，生成后存放在 ...
因为项目要求，需要远程执行命令，maven配置和代码如下
<dependency>
<groupId>ch.ethz.ganymed</groupId>
<artifactId>ganymed-ssh2</artifactId>
<version>build209</version>
</dependency>
public class InvokeShellTest {
public static void main(String[] a ...
server端运行一段时间以后,数据库异常
Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Data source rejected establishment of connection, message from server: "Too many connections"
原因：连接池中的连接没有关闭。
解决：我这里是 dao层的调用没有被事务管理，导致连接没有关闭。
背景：接到老大的指示，要为hive生成2000W条测试数据，这可愁死偶了，苦思之后，想到我写文章 hive 快速插入测试数据，可以在此基础上扩展。思路是用shell 脚本生成包含大量数据的data文件,然后导入hive中。
生成 测试数据的shell脚本
data_create.sh
rm -rf ./data.txt
touch data.txt
for((i=0;i<20000000;i++))
do
str=',name';
name=${i}${str}${i}
#echo $name
echo $name>> data.txt
done
...
vi /root/data.txt
1,sss
2,dfdf
3,dfdf
4,changqun
data.txt中不要有空行,空行也是一条数据.
$ hive
创建一个表
hive>create table test(id int,name string) row format delimited fields terminated by ',';
加载数据
hive>LOAD DATA LOCAL INPATH '/root/data.txt' OVERWRITE INTO TABLE test;
查询即可看到结果
hive> select * from tes ...