weitao1026
- 浏览: 1048408 次
- 性别:
- 来自: 上海
-
最新评论
文章列表
<span style="margin: 0px; padding: 0px;"><project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/maven-v4_0_0.xsd& ...
Zookeeper是分布式环境下一个重要的组件，因为它能在分布式环境下，给我带来很多便利，大大简化了分布式编程的复杂性，本篇散仙将给出一个模拟例子，来演示下如何使用Zookeeper的API编程，来完成分布式环境下配置的同步。大家都知道在一个中大型的规模的集群中，配置文件通常是必不可少的的东西，很多时候，我都需要将在Master上配置好的配置文件，给分发到各个Slave上，以确保整体配置的一致性，在集群规模小的时候我们可能简单的使用远程拷贝或复制即可完成，但是，当集群规模越来越大的时候，我们发现这种方式不仅繁琐，而且容易出错，最要命的是，以后如果改动配置文件的很少一部分的东西，都得需要把所有 ...
介绍一下基于zookeeper的一些API的编程。 在此之前，我们先来熟悉一下相关知识： Zookeeper的Session： （1）客户端和server间采用长连接 （2）连接建立后，server产生session ID（64位）返还给客户端 （3）客户端定期发送ping包来检查和 ...
zookeeper的一系列基础知识，如果，你还不清楚zookeeper的基本架构，或者工作原理，那么，建议看一下散仙的上篇文章。本篇，散仙来介绍下怎么安装部署zookeeper，其实散仙在Hbase的安装部署里，已经介绍过独立的zookeeper的安装部署，本次除了zookeeper的集群安装外，还会额外介绍一下，怎么在zookeeper3.3.0之后的版本里，安装观察者角色(Observer)，以便使我们的集群能够获取更好的扩展性，与稳定性。 zookeeper的安装模式也有三种，分别是单机模式，伪分布模式，和完全分布式模式， 本篇，散仙要介绍的是完全分布式模式。 我们需要先下载好zook ...
Zookeeper最早是Hadoop的一个子项目，主要为Hadoop生态系统中一些列组件提供统一的分布式协作服务，在2010年10月升级成Apache Software Foundation(ASF)顶级项目，它主要提供以下的四个功能：
功能名
组管理服务
分布式配置服务
分布式同步服务
分布式命名服务
Zookeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； Zookeeper的架构图如下：
Zookeeper的特点如下：
特点
说明
最终一致性
为 ...
Gradle是一款非常简洁的项目构建工具，相比ant和maven的繁琐的xml配置，gradle提供了非常简洁的命令，而这正得益于它的底层语言Groovy，目前在Android的项目的中，几乎都是使用的gradle来管理项目，当然了除了这些它也对Java，JVM平台系语言，Scala等也良好支持，同时支持C/C++ ,并可以与Maven仓库无缝集成 ！ 目前最新Gradle版本：2.9 官网下载地址：http://gradle.org/gradle-download/ （1）下载到windows上某盘符下并解压，内置groovy，不需要安装，只需要配置环境变量就能用 （2）设置环境变量： ...
1.不管什么项目，多发表看法，有机会就发表意见，多交流
2.时时要保持激情的投入状态，保持着较高的效率
3.要学会处理人人的关系：请人吃饭，吃东东，拉近关系
4.有想法要找领导沟通
5.多学一些，新知识，新技能，开 ...
前提Spark集群已经搭建完毕,如果不知道怎么搭建，请参考这个链接： http://qindongliang.iteye.com/blog/2224797 注意提交作业，需要使用sbt打包成一个jar，然后在主任务里面添加jar包的路径远程提交即可，无须到远程集群上执行测试，本次测试使用的是Spark的Standalone方式 sbt依赖如下：
Java代码
name := "spark-hello"
version := "1.0"
scalaVersion := "2.11.7&qu ...
Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了Spark SQL、Spark Streaming、MLLib和GraphX等组件，也就是BDAS（伯克利数据分析栈），这些组件逐渐形成大数据处理一站式解决平台。从各方面报道来看Spark抱负并非池鱼，而是希望替代Hadoop在大数据中的地位，成为大 ...
1，要求你已经成功把Hadoop集群安装完毕，并经过测试，如果不知道如何编译安装Hadoop请参考散仙的这篇文章http://qindongliang.iteye.com/blog/2222145 2，安装Scala2.10.x版本，spark1.4.0最新版本的兼容2.10.x的scala，建议还是安装scala2.10.x的，虽然scala最新的版本是2.11.x了 安装方法： （1） wget http://downloads.typesafe.com/scala/2.10.4/scala2.10.5.tgz_ga=1.83310549.215870088.1434449855 （2）t ...
环境: Hadoop版本：Apache Hadoop2.7.1 Spark版本：Apache Spark1.4.1 核心代码： 测试数据：
Java代码
a,b,a
c,d,f
a,b,h,p,z
a,f,o
a,b,a
c,d,f
a,b,h,p,z
a,f,o
在命令行使用sbt打包：sbt clean package 上传jar至Hadoop或者Spark ...
配置SSH无登陆验证，在很多场景下是非常方便的，尤其是在管理大型集群服务时，避免了繁琐的密码验证，在安全级别越高的服务器上，通常密码的设置更复杂，配置SSH，不仅可以用密钥保证节点间通信的安全性，同时也降低 ...
hadoop日志系统中的日志收集模块，在如今比较流行的以及开源具有代表性的有facebook的scribe，apache的chukwa，linkedin的kafka，以及非常优秀的cloudrea的flume，在1.x的hadoop生态系统中，flume比较适合做日志收集模块，因为其功能全 ...
内部类详解
1、定义
一个类的定义放在另一个类的内部，这个类就叫做内部类。
Java代码 复制代码 收藏代码
1.public class First {
2.public class Contents{
3. public void f(){
4. System.out.println("In Class First's inner Class Contents method f()");
5. }
6.}
7. }
像这样的，Contents就叫做内部类
内部类了解外围类，并能与之通信(后面详细讲)
...
eclipse的快捷键
Ctrl + Shift + X 将小写改为大写。
Ctrl + Shift + Y 将大写改为小写。