`
文章列表

Linux中使用shell+python实现监控系统负载+邮件报警

1. 获取ip、cpu、内存信息、loadAverage ip使用ifconfig获得 localip=$(ifconfig eth0 | grep 'inet addr' | awk '{print $2}' | cut -f2 -d:) 空闲cpu由mpstat获得 cpuidle=$(mpstat | grep all | awk '{print $11}') 内存使用情况由free获得 freemem=$(free | grep Mem | awk '{print $4}') totalmem=$(free | grep Mem | awk '{print $2}') ...

Linux中使用shell+python实现监控系统负载+邮件报警

1. 获取ip、cpu、内存信息、loadAverage ip使用ifconfig获得 localip=$(ifconfig eth0 | grep 'inet addr' | awk '{print $2}' | cut -f2 -d:) 空闲cpu由mpstat获得 cpuidle=$(mpstat | grep all | awk '{print $11}') 内存使用情况由free获得 freemem=$(free | grep Mem | awk '{print $4}') totalmem=$(free | grep Mem | awk '{print $2}') ...

分布式服务框架 Zookeeper -- 管理分布式环境中的数据

本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。 单机模式 单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如：/home/zookeeper-3.2.2 下，Zookeeper 的启动脚本在 bin 目录下，Linux 下的启动脚本是 zkServer.sh，在 3.2.2 这个版本 Zookeeper 没有提供 window ...

分布式服务框架 Zookeeper -- 管理分布式环境中的数据

本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。 单机模式 单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如：/home/zookeeper-3.2.2 下，Zookeeper 的启动脚本在 bin 目录下，Linux 下的启动脚本是 zkServer.sh，在 3.2.2 这个版本 Zookeeper 没有提供 window ...

Twitter Storm: Transactional Topolgoy简介

转载自：http://xumingming.sinaapp.com/736/twitter-storm-transactional-topolgoy/ 概述 Storm通过保证每个tuple至少被处理一次来提供可靠的数据处理。关于这一点最常被问到的问题就是“既然tuple可能会被重写发射(replay), 那么我们怎么在storm上面 ...

Twitter Storm: Transactional Topolgoy简介

转载自：http://xumingming.sinaapp.com/736/twitter-storm-transactional-topolgoy/ 概述 Storm通过保证每个tuple至少被处理一次来提供可靠的数据处理。关于这一点最常被问到的问题就是“既然tuple可能会被重写发射(replay), 那么我们怎么在storm上面 ...

zookeeper学习记录

背景 前段时间看了S4流计算引擎，里面使用到了zookeeper进行集群管理，所以也就花了点时间研究了下zookeeper，不求看懂所有源码，但求了解其实现机制和原理，清楚其基本使用。这也是为后续hadoop,gridgain的分布式计算的产品。 学习 首先就是收集一些前人的一些学习资料和总结内容，方便自己快速入门。 这里罗列了几篇不错的文章： http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ (介绍了zookeeper能用来干嘛) http://zookeeper.apache.org ...

zookeeper学习记录

背景 前段时间看了S4流计算引擎，里面使用到了zookeeper进行集群管理，所以也就花了点时间研究了下zookeeper，不求看懂所有源码，但求了解其实现机制和原理，清楚其基本使用。这也是为后续hadoop,gridgain的分布式计算的产品。 学习 首先就是收集一些前人的一些学习资料和总结内容，方便自己快速入门。 这里罗列了几篇不错的文章： http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ (介绍了zookeeper能用来干嘛) http://zookeeper.apache.org ...

storm介绍

场景 伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，今天想买一副泳镜去游泳，但是却发现系统在不遗余力地给他推荐袜子、鞋子，根本对他今天寻找泳镜的行为视而不见，估计这哥们心里就会想推荐你妹呀。其实稍微了解点背景知识的码农们都知道，这是因为后台系统做的是每天一次的全量处理， ...

storm介绍

场景 伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，今天想买一副泳镜去游泳，但是却发现系统在不遗余力地给他推荐袜子、鞋子，根本对他今天寻找泳镜的行为视而不见，估计这哥们心里就会想推荐你妹呀。其实稍微了解点背景知识的码农们都知道，这是因为后台系统做的是每天一次的全量处理， ...

kestreldocsguide

A working guide tokestrel Kestrel is a very simple message queue that runs on the JVM. Itsupports multiple protocols: A single kestrel server has a set of queues identified by aname, which isalso the filename of that queue's journal file(usually in/var/spool/kestrel). Each queue is astric ...

kestreldocsguide

A working guide tokestrel Kestrel is a very simple message queue that runs on the JVM. Itsupports multiple protocols: A single kestrel server has a set of queues identified by aname, which isalso the filename of that queue's journal file(usually in/var/spool/kestrel). Each queue is astric ...

配置Apache Kafka的zookeeper配置文件zookeeper.properties时的一个注意事项

转载自：http://blog.csdn.net/cfeibiao/article/details/8934423 Kafka默认的zookeeper.properties文件如下所示： dataDir,clientPort的意义显而易见，就不用说了，对于maxClientCnxns选项，如果不设置或者设置为0，则每个ip连接zookeeper时的连接数没有限制。需要注意的是，设置maxClientCnxns的值时需要把kafka server的连接数考虑进去，因为启动kafka server时，kafka server也会连接zookeeper的。 例如，我把机器a的zook ...

配置Apache Kafka的zookeeper配置文件zookeeper.properties时的一个注意事项

转载自：http://blog.csdn.net/cfeibiao/article/details/8934423 Kafka默认的zookeeper.properties文件如下所示： dataDir,clientPort的意义显而易见，就不用说了，对于maxClientCnxns选项，如果不设置或者设置为0，则每个ip连接zookeeper时的连接数没有限制。需要注意的是，设置maxClientCnxns的值时需要把kafka server的连接数考虑进去，因为启动kafka server时，kafka server也会连接zookeeper的。 例如，我把机器a的zook ...

Kafka Consumer端的一些解惑

转载自：http://my.oschina.net/ielts0909/blog?catalog=263107&p=2 最近一直忙着各种设计和文档，终于有时间来更新一点儿关于kafka的东西。之前有一篇文章讲述的是kafka Producer端的程序，也就是日志的生产者，这部分比较容易理解，业务系统将运行日志或者业务日志发送到broker中，由broker代为存储。那讲的是如何收集日志，今天要写的是如何获取日志，然后再做相关的处理。 之前写过kafka是讲日志按照topic的形式存储，一个topic会按照partition存在同一个文件夹下，目录在config/server.pr ...
Global site tag (gtag.js) - Google Analytics