`

基于CentOS6.5,statsD和Graphite的部署过程

阅读更多
最近在整理爬虫,采用scrapy,想部署一套分布式爬虫系统,graphite作为爬虫的监控,废话不多说直接上手
系统版本:CentOS release 6.5 (Final)
Python版本:Python 2.7.6

开始部署Graphite
1、系统依赖
引用
yum -y install libpng-devel


2、安装mysql、nginx(此处省略,可用源码或者yum安装,这里遇到一点问题,刚开始安装的是mysql5.6的版本,但是后面安装mysql-python,测试的时候 import MySQLdb出现问题,一直提示找不到libmysqlclient_r.so.16,进mysql lib目录一看,尼玛根本没有这个只有libmysqlclient_r.so.15和libmysqlclient_r.so.18,回忆以前安装mysql5.1时没有遇到这个问题,为了节省时间,只要对mysql降级)

3、安装Django(pip视为已安装,不做过多赘述,这里也需要说明下,这里耽误我不少时间,刚开始没有制定django版本,默认装了个1.8,麻痹啊,各种不兼容啊,还找不到问题,经过一番努力,偶然返现版本兼容问题,降级,安装指定版本1.5.8)
引用
pip install Django==1.5.8
pip install django-tagging


4、有用到mysql数据库安装mysql模块
引用
pip install mysql-python


5、开始搞Graphite(默认安装目录为/opt/graphite)
引用
pip install carbon
pip install whisper
pip install graphite-web


6、cairo和pycairo(这里直接用yum,版本为1.8.X,也可以使用源码安装)

7、配置carbon(这里直接采用默认配置)
引用
cd /opt/graphite/conf
cp carbon.conf.example carbon.conf
cp storage-schemas.conf.example storage-schemas.conf


8、修改Django的数据库配置(配置文件位置/opt/graphite/webapp/graphite/settings.py)
引用
#Initialize deprecated database settings
DATABASE_ENGINE = ''
DATABASE_NAME = ''
DATABASE_USER = ''
DATABASE_PASSWORD = ''
DATABASE_HOST = ''
DATABASE_PORT = ''

DATABASES = {
  'default': {
    'NAME': 'name',
    'ENGINE': 'django.db.backends.mysql',
    'USER': 'user',
    'PASSWORD': 'password',
    'HOST': '192.168.2.244',
    'PORT': '3306'
  }
}


9、设置完成数据库,需要进行数据同步
引用
cd /opt/graphite/webapp/graphite
python manage.py syncdb


10、安装Twisted(注意版本)
引用
pip uninstall Twisted
pip install "Twisted<12.0"


11、启动carbon-cache服务
引用
cd /opt/graphite
bin/carbon-cache.py start


12、OK基础完成,接下来配置WEB(Nginx+uWSGI模式)
12.1、需要先安装uwsgi
引用
pip install uwsgi

12.2、配置、启动uwsgi服务
引用
cd /opt/graphite/conf
cp graphite.wsgi.example wsgi.py
cd /opt/graphite/
touch uwsgi.xml
vim uwsgi.xml
<uwsgi>
  <socket>127.0.0.1:8630</socket>
  <chdir>/opt/graphite/conf</chdir>
  <module>wsgi</module>
  <master>True</master>
  <processes>4</processes>
  <pidfile>/var/run/uwsgi-graphite.pid</pidfile>
  <vacuum>True</vacuum>
  <max-requests>5000</max-requests>
  <daemonize>/var/log/uwsgi-graphite.log</daemonize>
  <stats>127.0.0.1:9192</stats>
  <protocol>http</protocol>
</uwsgi>

12.3、启动uwsgi
uwsgi /opt/graphite/uwsgi.xml
12.4/nginx配置
引用
server {
        listen 80;
        server_name localhost;
        proxy_buffer_size 64k;
        proxy_buffers   32 32k;
        proxy_busy_buffers_size 128k;

        location / {
                include uwsgi_params;
                proxy_pass http://127.0.0.1:8630;
        }

        location /static/admin/ {
                alias /usr/local/lib/python2.7/site-packages/django/contrib/admin/static/admin/;
        }
}

12.5、配置完成,重新启动nginx,访问主机ip,就会出现graphite的页面
分享到:
评论

相关推荐

    基于centos6.5 的 supervisor离线部署包

    基于centos6.5 的 supervisor离线部署包,解压后,执行shell脚本即可完成supervisor部署操作,由于supervisor依赖于python2.7 在本安装包内,后将系统python升级到python2.7 ,如果对此操作有异议的同学需谨慎。...

    Centos6.5 镜像文件下载

    ### Centos6.5镜像文件下载与安装详解 #### 一、CentOS 6.5简介 CentOS是Community ENTerprise Operating System的缩写,是一个基于Linux内核的操作系统,它主要提供了企业级的计算环境。CentOS 6.5作为CentOS 6...

    CentOs6.5镜像源

    CentOs6.5镜像源

    基于centos6.5 已经编译好的hadoop-2.6.4

    标题"基于centos6.5 已经编译好的hadoop-2.6.4"指的是在CentOS 6.5操作系统环境下,已经完成了对Hadoop 2.6.4版本的编译工作。这通常意味着用户可以直接在同样环境或相似环境中使用这个编译好的版本,而无需自己进行...

    CentOS6.5的64位镜像文件iso,迅雷种子

    CentOS6.5的64位镜像文件iso。CentOS是基于linux内核而扩展的操作系统。

    CentOS 6.5 最新可用的 Yum 源

    CentOS 6.5 的 软件源很多官方已经停止维护,该文件包内配置好的yum源是可以正常使用的。将原/etc/yum.repos.d/目录下原来的 .repo 备份, 然后把本文件包内的repo文件复制过去, yum clean all 后,再 yum ...

    CentOs 6.5 telnet 客户端 linux 64(离线安装)

    centos 6.5 telnet 客户端 安装文件 rpm包 centos 6.5 telnet 服务端 安装文件 rpm包 http://vault.centos.org/6.5/os/x86_64/Packages/ 从官网下载亲测可以用

    VMware创建安装CentOS6.5(配截图)

    CentOS6.5 操作系统基于 Linux 内核,具有高度的可靠性和安全性。CentOS6.5 的一些特点包括: * 高度的可靠性和安全性 * 强大的网络管理功能 * 高性能的文件系统 * 广泛的硬件支持 VMware 的优点 VMware 软件具有...

    centos6.5安装教程,绝对详细,内附centos镜像等资源

    CentOS 6.5 是一个稳定、功能强大且广泛应用的 Linux 发行版,本文将详细介绍 CentOS 6.5 的安装步骤,包括虚拟机的安装、CentOS 镜像文件的下载和使用、连接工具的配置等内容。 一、虚拟机安装 虚拟机是安装 ...

    CentOS 6.5 升级OpenSSH

    总结,升级CentOS 6.5上的OpenSSH是一个涉及多个步骤的过程,包括升级openssl、安装新版本的OpenSSH、链接必要的库、配置和隐藏版本信息,以及最后的验证。这个过程对于维护系统的安全性至关重要,尤其是在面临年度...

    基于Centos6.5部署OracleRAC11G

    经过一个月的奋斗,终于搞清楚了在linux上部署oracle集群的每个步骤及容易犯的错误,并对关键步骤进行标注。其中包括操作系统安装、RAID配置、存储设置等一直到RAC数据库安装配置完成。希望对你有所帮助!内有本人...

    VMware安装CentOS6.5

    VMware安装CentOS6.5的详细教程涵盖了从下载CentOS6.5系统文件到配置虚拟机设置,再到操作系统安装过程中的每一步骤。首先,我们需要了解Linux操作系统和CentOS6.5的基本概念。Linux是一个开源的操作系统内核,而...

    CentOS6.5一键安装Mysql5.6

    本文将详细介绍如何在CentOS 6.5上进行MySQL 5.6的一键安装过程,包括必要的环境准备、安装步骤、配置优化以及安全设置。 一、环境准备 在开始安装之前,确保你的CentOS 6.5系统已经更新到最新,运行以下命令进行...

    Centos6.5升级openssh-9.1p1

    Centos6.5升级openssh-9.1p1包括32位和9.3版本的63位的全部rpm包,附带telnet客户端的rpm包 32位: openssh-9.1p1-1.el6.i386.rpm openssh-clients-9.1p1-1.el6.i386.rpm openssh-server-9.1p1-1.el6.i386.rpm ...

    Centos6.5安装教程for oracle

    ### CentOS 6.5 for Oracle 的安装与配置详解 #### 一、概述 本文将详细介绍如何在服务器上安装并配置CentOS 6.5系统,特别是...需要注意的是,在实际部署过程中,还需要根据具体的应用场景和需求进一步调整和优化。

    centos6.5-ntp安装包.rar

    总结来说,"centos6.5-ntp安装包.rar"提供了在CentOS 6.5上部署NTP服务的完整流程,包括安装、配置、启动、时间同步以及验证服务状态等关键步骤,以确保系统的时钟与全球标准时间保持一致。通过这些操作,可以有效...

    centos6.5 64位 gcc离线安装包

    centos6.5 64位 gcc离线安装包,内含所有离线安装gcc所有rpm包。可依次安装,也可一起安装。内有安装说明。 cloog-ppl-0.15.7-1.2.el6.x86_64.rpm cpp-4.4.7-4.el6.x86_64.rpm gcc-4.4.7-4.el6.x86_64.rpm gcc-c++-...

    VMware安装CentOS6.5教程1.pdf

    CentOS6.5是我们将要安装的特定版本,适合初学者学习和实践。 在开始安装前,确保已安装VMware Workstation,并预留至少20GB的硬盘空间。你需要从官方镜像网站下载CentOS6.5的ISO文件,分为32位(i386)和64位(x86_64...

Global site tag (gtag.js) - Google Analytics