pandan_xyz
- 浏览: 92944 次
- 性别:
- 来自: 深圳
-
最新评论
文章列表
一，需求背景
生产环境中的nginx服务器，由于访问日志文件增长快速，这样access_log日志文件过大，会严重影响日志记录性能；同时为了方便对访问日志进行分析，需要对日志进行定时切割。定时切割的方式主要有：按月切割，按天切割，按小时切割等方案，具体切割方案可根据线上服务器访问量来定，一般为按天进行定时切割。
二，实现步骤
手动操作步骤：
#重命名日志文件
mv /usr/local/nginx/logs/access_log /usr/local/nginx/logs/access_log_20160625.log
#使用Nginx的信号控制US ...
一，官方使用文档
官方使用文档路径：http://nginx.org/en/docs/http/ngx_http_geo_module.html
一，官方使用文档
官方使用文档路径：http://nginx.org/en/docs/http/ngx_http_access_module.html
#通过deny拒绝，allow允许命令，来限制和放开某些client IP的访问
location / {
deny 192.168.1.1;
allow 192.168.1.0/24;
allow 10.1.1.0/16;
allow 2001:0db8::/32;
deny all;
}
ps：限制规则是按照顺序匹配的，上述例子表示：只容许IP4 192.168 ...
一，官方使用文档
官方使用文档路径：http://nginx.org/en/docs/http/ngx_http_map_module.html
#使用格式$http_user_agent请求头参数值，agent变量名
map $http_user_agent $agent{
default 0;
"~Opera Mini" 1;
"Chrom.*" 2;
"\Firefox" 3;
}
#相关符号作用介绍
~：表示区分大小写匹配 ...
一，nginx常用内置变量
$binary_remote_addr 远程地址的二进制表示
$scheme 所用的协议，比如http或者是https
$content_length http请求信息里的"Content-Length";
$content_type 请求信息里的"Content-Type";
$request_method 请求的方法，比如"GET"、"POST"等;
$remote_addr 客户端IP ...
#若按照上述配置的话，则访问/img/目录里面的文件时，ningx会自动去/var/www/image/目录找文件
location /img/ {
alias /var/www/image/;
}
#若按照这种配置的话，则访问/img/目录下的文件时，nginx会去/var/www/image/img/目录下找文件
location /img/ {
root /var/www/image;
}
#若按照这种配置的话，则访问的是nginx安装目录下的html目录，nginx会去/usr/local/nginx/html/img/ ...
官方学习文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.html
一，目前现状介绍
日志的分析和监控在系统开发中占非常重要的地位，系统越复杂，日志的分析和监控就越重要，常见的需求有:
根据关键字查询日志详情
控系统的运行状况
统计分析，比如接口的调用次数、执行时间、成功率等
异常数据自动触发消息通知
基于日志的数据挖掘
很多团队在日志方面可能遇到的一些问题有:
开发人员不能登录线上服务器查看详细日志，经过运维周转费时费力
日志数据分散在多个系统，难以查找
日志数据量大，查询速度慢
一个调用会涉及多个系统，难以在这些系统的日志中快速定位数据
数据不够实时
一，问题原因
在搭建完FastDFS环境后，使用java sdk进行连接测试，报连接超时错误。通过debug，发现在获取跟踪服务器tracker连接时使用的是公网IP，但是在获取存储服务器storage连接时，address却变成了服务器的内网IP，而不是公网IP，导致连接超时错误connect timeout。
二，解决办法
修改storage.conf配置文件，将tracker_server配置的内网IP，改为公网IP地址，然后重启存储节点即可！
一，查看总磁盘空间使用情况
#查看系统目前磁盘空间使用情况
df -h
二，查看各目录及文件所占磁盘空间大小
#统计当前目录所占磁盘空间大小
du -sh
#统计当前目录下所有一级子目录文件夹大小
du -h --max-depth=1
#统计当前目录下所有一级子目录文件夹大小并排序
du -h --max-depth=1 |sort
#统计当前目录下所有大小上G的一级子目录并排序
du -h --max-depth=1 |grep 'G' |sort
#统计当前目录下所有大小上T,G的一级子目录并倒序排序
du -h --max-dept ...