`
welcome66
  • 浏览: 402394 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表
1. 引言 互联网够公司的日志无处不在,web日志,js日志,搜索日志,监控日志等等。对于这些日志的离线分析(Hadoop),wget&rsync虽然人力维护成本较高,但可以满足功能行需求。但对于这些日志的实时分析需求(例如实时推荐,监控系统),则往往必须要引入一些“高大上”的系统。 传统的企业消息系统(例如WebSphere)并不是非常适合大规模的日志处理系统,理由如下:1) 过于关注可靠性,这些可靠性增加了系统实现&API的复杂度,而在日志处理过程中,丢失几条日志常常“无伤大雅”2) 包括API,scale及消息缓冲的设计理念都不适合Hign Throughput的日志 ...
来源:CSDN博客  作者:杨步涛 一、 设计理念   1. 空间换时间   1) 多级缓存,静态化   客户端页面缓存(http header中包含Expires/Cache of Control,last modified(304,server不返回body,客户端可以继续用cache,减少流量),ETag)   反向代理缓存   应用端的缓存(memcache)   内存数据库   Buffer、cache机制(数据库,中间件等)   2) 索引   哈希、B树、倒排、bitmap   哈希索引适合综合数组的寻址和链表的插入特性,可以实现数据的快速存取。   B ...
1.脚本准备 1)切换到/etc/rc.d/init.d/  2)制作sh脚本 vi anystart [plain]  #!/bin/sh      #add for chkconfig  
1.cat简介 cat命令是linux下的一个文本输出命令,通常是用于观看某个文件的内容的 2.cat功能cat主要有三大功能:(1).一次显示整个文件。 $ cat filename  (2).从键盘创建一个文件。 $ cat > filename 只能创建新文件,不能编辑已有 ...
1. Sed简介 sed是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有 改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。以下介绍的是Gnu版本的Sed 3.02。 2. 定址 可以通过定址来定位你所希望编辑的行,该地址用数字构成,用逗号分隔的两个行数表示以这两行为起止的行的范围(包括行数表示的那两行)。如1,3表示1, ...
        在使用redhat的时候,需要使用yum来安装软件包,但有的时候redhat没有安装yum,就需要使用rpm来将yum安装好,这样安装软件包就比较方便了。 本文包括配置本地源及第三方源。第三方源包括:网易,epel,repoforge ,rpmfusion 以下为详细过程: 1.删除redhat原有的yum rpm -aq|grep yum|xargs rpm -e --nodeps 2.下载yum安装文件  注意,如果下载时找不到文件,就登录到:http://mirrors.163.com/centos/6/os/x86_64/ 上查找相应的文件。然后再下载。 wg ...
1 问题描述 克隆虚拟机是经常的事情,对于客户机是Winows的虚拟机直接克隆就可以使用。对于客户机是Linux的虚拟机克隆后会出现网络无法启动的问题。 使用service network start 命令会出现报错如下: device eth0 does not seem to be prese ...
    当使用icinga进行自定义插件时,需要修改commands.cfg和host.cfg文件。修改完文件,需要重启icinga,有时候会出错,如下: [root@test libexec]# service icinga restart Running configuration check...CONFIG ERROR! Restart aborted. See /usr/local/icinga/var/icinga.chk for details.     这时需要查看问题到底出现在哪里,查看配置出错信息的方法如下: [root@test icinga]# /usr/ ...
注:在使用perl写的nagios插件时,总会碰到需要安装Net::SNMP这个模块,经过网上搜索,终于找到了安装的方法。 在使用perl编写脚本时,有时候会使用use Net::SNMP;这个模块,那么在centos环境下,怎么安装这个模块呢? 方法有2种,如下: 1) By CPAN (best) on command line, as root :    [your_host]# perl -MCPAN -e shell     cpan shell -- CPAN exploration and modules installation (v1.76)    ReadLi ...
由于经常需要下载nagios/icinga的插件,需要经常上插件网址下载相应的插件。 nagios/icinga插件常用下载网址: http://exchange.nagios.org/ https://exchange.icinga.org/
        最近在使用icinga部署监控,在使用icinga-pnp4部署后,里面里的显示历史数据的图形显示不出来,报错: localhost目录不存在,或localhost目录为空         经过研究,最后确认是因为在icinga配置文件icinga.cfg里,没有将有关perfdata的选项打开,导致icinga不会存储历史数据到指定目录,只需将其全部打开,重启icinga服务,即可显示历史数据图形了。         有关perfdata的配置项,将前面的#去掉,如下: 958:process_performance_data=1   972:host_perf ...
系统参数(1.3.6.1.2.1.1) OID 描述 备注 请求方式 .1.3.6.1.2.1.1.1.0 获取系统基本信息
mysql出于安全性考虑,在默认安装下,只允许本地localhost机器访问,而无法远程访问。 若想对mysql 能够远程访问,需要开放权限给远程用户。 1.登录本地mysql #mysql -u root -p 2.切换db mysql> USE mysql; -- 切换到 mysql DB Database cha ...
在linux里,可以使用tar命令对后缀为tar,gz,z,bz2,tgz,z等众多文件的压缩与解压缩。 ( 最近又出现了xz类型的文件,使用下面的命令可以进行解压缩:xz -d xxx.xz ) 1.tar命令说明如下: tar格式: tar [选项] [文件目录列表]功能: 对文件目录进行打包备份选项:-c 建立新的归档文件-r 向归档文件末尾追加文件-x 从归档文件中解出文件
在虚机为centos里,若主机访问需要代理,则centos也需要增加代理才能访问外网。 使用yum时,怎么才能通过代理访问外网呢? 在使用root用户登录情况下,方法如下: 1.修改/etc/yum.conf文件 增加一行: proxy=http://xxx.xxx.xxx:xxxx    前面为代理地址,后面为端口 2.代理的用户名和密码 如果你的代理需要用户名和密码,则再增加如下内容: proxy_username=用户名 proxy_password=密码   最后,保存退出,即可使用代理了。
Global site tag (gtag.js) - Google Analytics