greemranqq
- 浏览: 975420 次
- 性别:
- 来自: 重庆
-
最新评论
-
Carvendy许：
16/11/18 16:21:17 ERROR SparkDe ...
spark 笔记1 -- spark程序连接 -
谁说长得帅就不爷们：
什么情况下会有 p!=t ?
源码分析-ConcurrentLinkedQueue -
di1984HIT：
spring +ehcache 持久化数据，重启恢复 -
lc464297691：
给个我实现的代码，需要自己写一个类继承之～
public ab ...
JAVA数据库连接池实现 -
lc464297691：
100%发生死锁！ if (isValid(conn)) ...
JAVA数据库连接池实现
文章列表
一.序言
这里将介绍Cloudera-hadoop(CDH) 5.5.1的安装，简单布置
我环境是：CentOS 6.5 mysql5.6 jdk1.7
机器3台：hadoop1006,hadoop1007,hadoop1008
主要是内存配置：主节点要求 最好10G ，如果你东西都装主节点。
其他：已经打通ssh 免登陆，SELinux 防火墙等已经关闭。
免登陆：
生成：ssh-keygen -t rsa 一直回车结束
拷贝：ssh-copy-id -i ~/.ssh/id_ ...
一.序言
简单分享个sqoop 从mysql 集群导入到hdfs hive-table 里面进行分析的例子。
sqoop1.4.6,hadoop2.7,hive1.2.1 ,因为 环境原因，sqoop 没有升级到2~。~
二.简单步骤
1.base_import.sh : 集中配置一些链接信息，和公共参数，并引入其他脚本执行
2.base_common.sh : 要导入表的基本信息，包含字段，分组 where 条件 等
3.run.sh : 循环执行模板，通过1，2脚本参数传入，进行执行
4.*.sql : hive ...
一.序言
最近需要常见数据可视化的东西，主要是方便spark-sql ，方便内部操作方便，因此选择了个数据可视化的,hue 和 zepplin ，hue 是比较强大的，但是spark 方便也是孵化状态，是非apache 的， 先尝试下 Zeppelin 部署，最新0.6的不稳定，编译不过去，就用0.5吧。
下载地址：https://github.com/apache/incubator-zeppelin/releases
二.编译：
1.解压:
tar -zxvf incubator-zeppelin-0.5.0.tar.gz
...
spark笔记2-spark-sql 程序
- 博客分类：
- spark
一.序言
这里介绍用idea 跑程序去连接spark-sql->hive-metastore 的小例子，关于服务器上得保证spark-sql/spark-shell 正确执行，然后再用本地的程序去实现，我这里版本用的spark1.4.1+hive1.2.1+hadoop 2.7.1.
二.连接代码
结合笔记1的代码
2.1 maven 配置：
<dependency>
<groupId>org.apache.spark</groupId>
...
spark 笔记1 -- spark程序连接
- 博客分类：
- spark
一.序言
spark 现在用得比较多了，但是开始连接spark 的的时候有些小问题，这里简单记录一下， 我用的spark1.4.1 hadoop2.7 hive1.2.1, 目的想用spark-sql 连接 hive 的metastore,关于集群配置 这暂时不介绍了，例子很多，这里仅仅记录java/scala 连接部分。
二.连接配置
2.1 maven 配置：
<dependencies>
<dependency>
<groupId>org.apach ...
一.序言
redis 前面介绍了下master-salve ，但是其实它还无法完成故障自动切换的的效果。redis 2.8+ 已经提供了一种相对稳定的机制，防止单点：sentinel ，地址：http://redis.io/topics/sentinel
二.基本功能点
1.Monitor ：它能监控redis 实例是否运行正常
2.Notification : 发现监控的redis 实例错误，它能能通过API，通知另一个机器
3.Automatic failover：如果master没按预期的运行，那么它会自动将salve提升为ma ...
一.序言
前面搭建了个3个msater-slave 的本地集群测试，这里用java 的客户端 进行一些简单测试，看看集群是否生效。
redis client 推荐：http://redis.io/clients
我使用的：https://github.com/xetorthio/jedis
二.测试
maven:
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artif ...
一.序言
前面写了个简单主从，但是3.0后的集群反而一直没配置，先3.0.1 稳定版出来了，准备用用，这里先按照官网搭建一个集群吧，这里是在mac 环境进行的，也仅仅介绍搭建步骤，官网地址：http://redis.io/topics/cluster-tutorial
二.步骤
1.redis 下载 安装的我就省略了，看前面的文章吧。
2.集群在本地,6个端口，3个master 3个slave
我的配置文件目录 /usr/local/etc/
2.1 建立个文件
mkdir redis-cluste ...
一.序言
现在并发操作中都要求高效，都在想怎么去掉直接加锁带来的线程切换的开销，这里分享自己对concurrentLinkedQueue 的部分代码的理解，看看他无锁的原因，了解大神的设计思路。
关于 它的工作流程 参考JDK1.6 ：http://ifeve.com/concurrentlinkedqueue/
本文分析基于JDK 1.7.0_79
二.源码分析
1.介绍：concurrentlinkedqueue 设计有head 和 tail 两个节点，以及节点类 Node，主要看Node 部分
private stat ...
一.序言
ReentrantLock 锁有好几种，除了常用的lock tryLock 等意外，其中有个lockInterruptibly 用的比较少，看了下JDK 说明，官方的东西总是那么不容易理解，这里用稍微通俗的语言来描述一下。
二.栗子
1.我们用张三和李四 吃水果来描述：
如果张三吃苹果->休息5秒->吃香蕉
李四：发现张三在吃，就等待，直到李四吃完
import java.util.concurrent.locks.ReentrantLock;
/**
* Created by qqr on ...
一.序言
现在只要中间件 分布式什么的都要涉及主从来提高读的性能，这里根据官网的说明介绍一些内容给大家，我就不全部翻译了，英文好了直接看原文吧。地址：http://redis.io/topics/replication
二.基本介绍
1.redis 不仅支持master-slave 的复制，同时也支持slave-slave 的复制。
2.如果master 的持久化关闭之后，在多slave 复制的时候，如果有重启之类的，会出现数据不一致的其概况。
三.基本配置
1.配置很简单,我这里配置的单机的，用端口区分。先打开先前的配置
...
一.序言
以前一转过一些文章，这里博主写以及文中的一些链接，都挺好的，转给大家
原文地址：http://my.oschina.net/geecoodeer/blog/202693
本文旨在简单介绍大型互联网的架构和核心组件实现原理。 理论上讲，从安装配置，最佳实践以及源码来剖析各个组件，这个自然是极好的。由于笔者时间以及知识有限，有很多知识没有在工作中亲自实践的机会。所以有些地方语焉不详，还请大家多多指教。
大型互联网架构
解决问题的通用思路是将分而治之（divide-and-conquer），将大问题分为若干个
一.序言
这里简单介绍spring-redis 的例子，官网介绍的：http://projects.spring.io/spring-data-redis/#quick-start
二.小例子
1.MAVEN 配置，因为是子工程，版本和日志之类的，自己搞定吧~。~
<!-- 3.0 没出来- -先用2.7吧 -->
<dependency>
<groupId>redis.clients</groupId>
...
一.序言
这是以redis 3.0 为基础，从官网来的基础安装步骤。官网地址：http://redis.io/download
github介绍：https://github.com/antirez/redis
基础学习：http://try.redis.io/
二.安装步骤
教程地址：http://redis.io/topics/quickstart
1.下载redis 3.0 解压：tar -zvxf redis-3.0.0.tar.gz
进入目录输入一些命令
$ sudo make ...
一、序言
作为一种中间件，很多系统都会依赖它，因此几乎所有的中间件都会考虑挂掉怎么办？压力过大怎么办？因此都得考虑容错以及水平伸缩的问题。 所谓的分布式 集群 Master-Slave 等等概念就由此而生了，他主要是为了高可用性、负载均衡来分摊压力 等效果,这里介绍AMQ 的集群概念和配置。
二、场景描述：
1.如果broker 挂了，那么我们整个依赖这个节点的项目都会连接不顺畅，因此要做一个备份的东西，挂掉之后，能快速切换，这也就是master-slave 。
三、配置介绍
1.master-slave 模式现在5.11 版 ...