`
文章列表

zookeeper 运维管理

1.部署 本章节主要讲述如何部署ZooKeeper，包括以下三部分的内容： 1. 系统环境 2. 集群模式的配置 3. 单机模式的配置 系统环境和集群模式配置这两节内容大体讲述了如何部署一个能够用于生产环境的ZK集群。如果仅仅是想在单机上将ZK运行起来，进行一些开发与测试，那么第三部分或许是你的菜。 1.1系统环境 1.1.1平台支持 平 台 运行client 运行server 开发环境 生产环境 GNU/Linux √ √ √ √ Sun Solaris ...

分布式服务框架 Zookeeper -- 管理分布式环境中的数据

转自：http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/   Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将 从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义，以及分析 Zookeeper 的典型的应用场景（配置文件的管理、集群管理、同步锁、Leader 选举、队列管理等），用 Java 实现它们并给出示例代码。   ...

正确的使用dd进行磁盘读写速度测试

    博客分类：
  • IO
测试方式：使用dd指令，对磁盘进行连续写入，不使用内存缓冲区，每次写入8k的数据，总共写入20万次，产生1.6G大小的文件。 测试指令：dd if=/dev/zero of=/data01/test.dbf bs=8k count=200000 conv=fdatasync ----------------------------------------------   正确的使用dd进行磁盘读写速度测试dd是Linux/UNIX 下的一个非常有用的命令，作用是用指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换，所以可以用来测试硬盘的顺序读写能力。可以写文件，可以写裸设备。dd ...

linux 同步IO: sync、fsync与fdatasync

    博客分类：
  • IO
传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，然后待其到达队首时，才进行实际的I/O操作。这种输出方式被称为延迟写（delayed write）（Bach [1986]第3章详细讨论了缓冲区高速缓存）。延迟写减少了磁盘读写次数，但是却降低了文件内容的更新速度，使得欲写到文件中的数据在一段时间内并没有写到磁盘上。当系统发生故障时，这种延迟可能造成文件更新内 ...

Stom概念

实时计算系统 S4 storm puma   自己实现一个实时计算系统要考虑哪些问题 1.低延迟、高性能、分布式（单机已无法满足要求）、可扩展、容错 2.容易在上面开发应用程序，消息不丢失败、消息严格有序   Storm优势 1.简单的编程模型 类似于MapReduce的Spout/Bolt 2.是一个服务框架，支持热部署，及时上线下线App 3.可以使用多种编程语言(Clojure,java,Ruby,Python) 4.容错性，Storm会管理工作进程与节点的故障 5.水平扩展，计算是在多个线程、进程、服务器间进行的 6.可靠的消息处理 7.快速  （Zero ...

MySQL在大型网站的应用架构演变

可扩展性 架构的可扩展性往往和并发是息息相关，没有并发的增长，也就没有必要做高可扩展性的架构，这里对可扩展性进行简单介绍一下， 常用的扩展手段有以下两种： Scale-up :  纵向扩展，通过替换为更好的机器和资源来实现伸缩，提升服务能力 Scale-out : 横向扩展,  通过加节点（机器）来实现伸缩，提升服务能力 对于互联网的高并发应用来说，无疑Scale out才是出路，通过纵向的买更高端的机器一直是我们所避讳的问题，也不是长久之计， 在scale out的理论下，可扩展性的理想状态是什么？ 可扩展性的理想状态 一个服务，当面临更高的并发的时候，能够通过简单增加机器来提 ...

日志分析方法概述

日志在计算机系统中是一个非常广泛的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同，很难一概而论。 本文讨论的日志处理方法中的日志，仅指Web日志。其实并没有精确的定义，可能包括但不限于各种前端Web服务器——apache、lighttpd、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。 在Web日志中，每条日志通常代表着用户的一次访问行为，例如下面就是一条典型的apache日志： 211.87.152.44 – - [18/Mar/2005:12:21:42 +0800] “GET / HTTP/1.1″ 20 ...

统治世界的十大算法

软件正在统治世界。而软件的核心则是算法。算法千千万万，又有哪些算法属于“皇冠上的珍珠”呢？Marcos Otero 给出了他的看法。 什么是算法？ 通俗而言，算法是一个定义明确的计算过程，可以一些值或一组值作为输入并产生一些值或一组值作为输出。因此算法就是将输入转为输出的一系列计算步骤。 —Thomas H. Cormen，Chales E. Leiserson，算法入门第三版简而言之，算法就是可完成特定任务的一系列步骤，它应该具备三大特征： 1、有限 2、指令明确 3、有效 以下是 Marcos Otero 推荐的十大算法：

程序员必须知道的10大基础实用算法及其讲解

算法一：快速排序算法 快速排序是由东尼·霍尔所发展的一种排序算法。在平均状况下，排序 n 个项目要Ο(n log n)次比较。在最坏状况下则需要Ο(n2)次比较，但这种状况并不常见。事实上，快速排序通常明显比其他Ο(n log n) ...

分布式日志收集系统Apache Flume的设计介绍

概述 Flume是Cloudera公司的一款高性能、高可能的分布式日志收集系统。现在已经是Apache Top项目。Github地址。同Flume相似的日志收集系统还有Facebook Scribe，Apache Chuwka，Apache Kafka(也是LinkedIn的)。Flume是后起之秀，本文尝试简要分析Fl ...

JVM日志和参数的理解

转自：http://hot66hot.iteye.com/blog/2075819 写这篇wiki的目的:最近在调整Hbase的JVM,翻了些文档和wiki,想写点东西,给自己和想了解jvm日志和参数的同 学提供些帮助.  一:理解GC日志格式,读GC日志的方法 1:开启日志 -verbose:gc  -XX:+PrintGCD ...

Avro简介

一、引言 1、 简介 Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统。Avro 可以将数据结构或对象转化成便于存储或传输的格式。Avro设计之初就用来支持数据密集型应用，适合于远程或本地大规模数据的存储和交换。 2、 特点 Ø  丰富的数据结构类型； Ø  快速可压缩的二进制数据形式，对数据二进制序列化后可以节约数据存储空间和网络传输带宽； Ø  存储持久数据 ...

大数据时代的 9 大Key-Value存储数据库

  在过去的十年中，计算世界已经改变。现在不仅在大公司，甚至一些小公司也积累了 TB 量级的数据。各种规模的组织开始有了处理大数据的需求，而目前关系型数据库在可缩放方面几乎已经达到极限。          一个解决 ...

AIX 下磁盘 I/O 性能分析

    博客分类：
  • IO
转自：http://www.ibm.com/developerworks/cn/aix/library/1203_weixy_aixio/   磁盘 I/O 的概念 I/O 的概念，从字义来理解就是输入输出。操作系统从上层到底层，各个层次之间均存在 I/O。比如，CPU 有 I/O，内存有 I/O, VMM 有 I/O, 底层磁盘上也有 I/O，这是广义上的 I/O. 通常来讲，一个上层的 I/O 可能会产生针对磁盘的多个 I/O，也就是说，上层的 I/O 是稀疏的，下层的 I/O 是密集的。 磁盘的 I/O，顾名思义就是磁盘的输入输出。输入指的是对磁盘写入数据，输出指的是从磁盘读出 ...

在浏览器中解析Base64编码图像

上一篇介绍中，我们将二进制文件(BLOB)保存为Base64编码的文本，这些文本可以内嵌在XML的标签中，因此二进制信息它可以随着XML文件被拷贝、下载而不用担心信息会缺失。这项技术也在email邮件中被广泛使用。 浏览器对Base64的支持 图像是最经常被使用的一种二进制文件。而现代的浏览器的进步日新月异，IE7，FireFox和其他浏览器为包括Base64在内各种编码的图像信息提供了很好的支持。因此图形信息可以以下面的形式呈现在页面中、  Java代码  
Global site tag (gtag.js) - Google Analytics