kavy
- 浏览: 890605 次
- 性别:
- 来自: 上海
-
最新评论
-
zzuliuli：
很实用，一直关注
mysql的执行计划 -
rxin2009：
你好,最近在解决redis数据同步的问题,找到了tedis,但 ...
taobao/tedis的redis集群 -
zhangping2056：
楼主接下来要考虑页面静态化与细节上面的东西了
Nginx与Redis解决高并发问题 -
XieFuQ：
Tomcat的重启shell脚本 -
jovinlee：
jovinlee 写道 jov ...
Tomcat的重启shell脚本
文章列表
ssh远程执行命令方法和Shell脚本实例
- 博客分类：
- linux
ssh的-t参数
复制代码代码如下:
-t Force pseudo-tty allocation. This can be used to execute arbitrary screen-based programs on a remote machine, which can be very useful, e.g. when implementing menu services. Multiple -t options force tty allocation, even if ssh has no local tty.
中文翻译一下：就是可以 ...
备注：1.如果您此前未接触过RocketMQ，请先阅读附录部分，以便了解RocketMQ的整体架构和相关术语2.文中的MQServer与Broker表示同一概念
分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高 ...
RocketMQ与Kafka对比（18项差异）
- 博客分类：
- 项目构建
转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用MySQL作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订单、充值等场景下还有诸多特性不满足，为此我们重新用Java语言编写了RocketMQ， ...
hcatalog简介和使用
- 博客分类：
- 大数据
Hcatalog是apache开源的对于表和底层数据管理统一服务平台，目前最新release版本是0.5，不过需要hive 0.10支持，由于我们hive集群版本是0.9.0，所以只能降级使用hcatalog 0.4，由于hcatalog中所有的底层数据信息都是保存在hive metastore里， ...
Dubbo多注册中心
- 博客分类：
- 技术内容
(1) 多注册中心注册
需求：xx银行有些服务来不及在上海部署，只在北京部署，而上海的其它应用需要引用此服务，就可以将服务同时注册到两个注册中心。
consumer.xml
<?xmlversion="1.0"encoding="UTF-8"?>
<beansxmlns=" http://www.springframework.org/schema/beans"
xmlns:xsi=" http://www.w3.org/2001/XMLSchem ...
Sqoop-1.4.6安装部署及详细使用介绍
- 博客分类：
- 大数据
之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用，综合比较后选择Sqoop1。
Sqoop1安装配置比较简单
一、安装部署
（1）、下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz
解压到／opt/cdh5/sqoop
（2）、拷贝MySQL的jdbc驱动包mysql-connector-Java-5.1.31-bin.jar到sqoop/lib目录下。
（3）、配置环境变量
#sqoop
export SQOOP_HOME=/opt/cdh5/sqoop
ex ...
转载请注明出处：http://www.cnblogs.com/BYRans/
Spark基本工作流程
相关术语解释
Spark应用程序相关的几个术语：
Worker：集群中任何可以运行Application代码的节点，类似于YARN中的NodeManager节点。在Spark on Yarn模式中指的就是NodeManager节点；
Executor：Application运行在Worker 节点上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上，每个Application都有各自独立的一批Executor。
Spar
Spark任务提交jar包依赖解决方案
- 博客分类：
- 大数据
http://blog.csdn.net/wzq294328238/article/details/48054525
通常我们将Spark任务编写后打包成jar包，使用spark-submit进行提交，因为spark是分布式任务，如果运行机器上没有对应的依赖jar文件就会报ClassNotFound的错误。 下面有三个解决方法：
方法一：spark-submit –jars
根据spark官网，在提交任务的时候指定–jars，用逗号分开。这样做的缺点是每次都要指定jar包，如果jar包少的话可以这么做，但是如果多的话会很麻烦。
spark-submit --m ...
mysql主从复制（超简单）
怎么安装mysql数据库，这里不说了，只说它的主从复制，步骤如下：
1、主从服务器分别作以下操作： 1.1、版本一致 1.2、初始化表，并在后台启动mysql 1.3、修改root的密码2、修改主服务器master: #vi /etc/my.cnf [mysqld] log-bin=mysql-bin //[必须]启用二进制日志
Maven类包冲突终极解决小技若干
- 博客分类：
- java基础
那句话怎么讲来着的...
引用
如果你爱他，就请让他用Maven，因为那里是天堂，如果你恨他，就请让他用Maven，因为那里是地狱.
Maven对于新手来说是《步步惊心》，因为它包罗万象，博大精深，因为当你初来乍到时，你就像一个进入森林的陌生访客一样迷茫。 Maven对于老手来说是《真爱配方》，因为它无所不能，利如刀锋，使用Maven做开发，如饮美酒如悦美人。 Maven对于新手来说，最痛苦的一件事莫过于包之间的冲突，由于Maven的依赖传递性，当你引入一个依赖类时，其身后的依赖类也一起如过江之鲫纷至沓来了。
linux下为目录和文件设置权限
- 博客分类：
- linux
linux下为目录和文件设置权限，包括子目录的循环递归设置
chmod 命令可以改变所有子目录的权限，下面有2种方法 改变一个文件的权限: chmod mode file|dir 改变所有子目录的权限: chmod mode dir -R 注意后面 ...
linux系统安装mysql
- 博客分类：
- 技术内容
http://jingyan.baidu.com/article/a378c9609eb652b3282830fd.html
linux安装mysql服务分两种安装方法：
①源码安装，优点是安装包比较小，只有十多M，缺点是安装依赖的库多，安装编译时间长，安装步骤复杂容易出错；
②使用官方编译好的二进制文件安装，优点是安装速度快，安装步骤简单，缺点是安装包很大，300M左右。以下介绍linux使用官方编译好的二进制包安装mysql。
工具/原料
mysql-5.6.17-linux-glibc2.5-i686.tar.gz
...
http://blog.csdn.net/zhanngle/article/details/41042631
环境:centos 6.4 x64
先下载mysql安装包打开 http://dev.mysql.com/downloads/mysql/
选择 linux - Generic
再选择
下载完毕后,得到安装包 mysql-5.6.21-linux-glibc2.5-x86_64.tar.gz
此包不再需要make编译源代码(真是扛扛的),之前的mysql-5.6.4.tar.gz包是源码包,需要先cmake,再make & make insta ...
linux下scp命令详解--主机之间拷贝文件
- 博客分类：
- 技术内容
不同的Linux之间copy文件常用有3种方法，第一种就是ftp，也就是其中一台Linux安装ftp Server，这样可以另外一台使用ftp的client程序来进行文件的copy。第二种方法就是采用samba服务，类似Windows文件copy的方式来操作，比较简洁方便，第三种就是利用scp命令来进行文件复制。
scp是有Security的文件copy，基于ssh登录。操作起来比较方便，比如要把当前一个文件copy到远程另外一台主机上，可以如下命令。
scp /home/daisy/full.tar.gz root@172.19.2.75:/home/root
然 ...
Java8 Lambda表达式教程
- 博客分类：
- java基础
http://blog.csdn.net/ioriogami/article/details/12782141/
1. 什么是λ表达式
λ表达式本质上是一个匿名方法。让我们来看下面这个例子：
public int add(int x, int y) { return x + y; }
转成λ表达式后是这个样子： (int x, int y) -> x + y;
参数类型也可以省略，Java编译器会根据上下文推断出来：
(x, y) -> x + y; //返回两数之和 或者
(x, y) -> ...