xcly
- 浏览: 122996 次
- 性别:
- 来自: 深圳
-
最新评论
-
小虫大人：
[i][/i]
Spring -
cunsky：
lakeblur 写道您好，能否请教一个flume的问题，co ...
Flume源代码解读一 -
lakeblur：
您好，能否请教一个flume的问题，collector的sin ...
Flume源代码解读一
文章列表
2019-4-3 Nginx
- 博客分类：
- 开源框架整理
忙乎了一阵。。
因为等保定级，nginx版本升级到了nginx1.14.2 下载了一个包，覆盖升级 记录下安装了哪些辅助软件。
953 nginx -v
954 yum update openssl
955 yum -y install gperftools
956 yum -y install zlib
957 yum -y install zlib-devel
958 yum -y install openssl-devel
959 yum -y install xslt
960 yum -y insta ...
午觉睡得正香，被领导电话吵醒了。只能从车上爬起来，上楼 解决问题。
ERP同步数据又出现了问题。 与IT同事调测了半天
1. data too long 数据库字段设计太短 varchar(255)装不了几十个字符。 varchar(2550)总算可行了。
2. json格式 中文描述中出现了特殊字符 \ springboot默认无法正确转义。 暂时转换了其他符号解决。回头再看看怎么解决。
1. 一年多一体机屏幕截图将服务器占了70%空间，一狠心，跟产品经理一合计，删掉了2018年9月之前的截图。
2. Nginx nginx resolver 释放后重利用漏洞(CVE-2016-0746)
需要将nginx从1.8 升级至 1.12的版本才能解决这个问题。
为了解决等保定级中Tomcat的一些高危漏洞，决定将tomcat8升级到最高版本。 重新修改配置文件。
1. Tomcat中的Context.xml的<Loader delegate="true"/>表示使用正式的Java代理模式 含义：True代表使用正式的Java代理模式(先询问父类的加载器)；false代表先在Web应用程序中寻找。默认值：FALSE
2.
在tomcat的/conf/context.xml中的<Context>中添加
<!--这里单位是 KB-->
<Resources ...
tomcat 404解决
- 博客分类：
- TOMCAT
今日工作：
一 为了解决等保定级渗透测试中，springboot不存在路径的问题， 对tomcat做error错误配置。
1. webapps/ROOT中加入404错误公共页面及相关样式文件
2. 修改Tomcat conf/web.xml最底端加入
<error-page>
<error-code>404</error-code>
<location>/404.html</location>
</error-page>
二 ...
Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力
Flume提供了从console（控制台）、RPC（Thrift-R ...
Flume 部署注意一
- 博客分类：
- Hadoop
Flume 安装
1. jdk1.6以上。可修改环境变量.bash_profile
2.需要/tmp目录的读取写入权限。master pid,,node pid生成在此目录
3.安装zookeeper. 注意在datadir目录生成myid数字标识。
4.一般用scp同步数据，需要ssh生成无密码授权文件。
5.winscp上传数据到服务器
6.修改flume-dameon.sh, 日志目录修改
7.修改flume-site.xml 配置数据保存方式，master 序列号，master 等
8.修改conf/log4j日志生成方式。
9. 目录经常需要用root用 ...
Flume源代码解读五
- 博客分类：
- Hadoop
[ xcly原创于iteye,见http://xcly.iteye.com ]
本节介绍Flume存储配置项的工作方式，Flume支持zookeeper和memory两种方式。
FlumeMaster启动时，创建ConfigStore。 如果为zookeeper方式，还初始化ZooKeeperService。对ConfigStore的使用通过ConfigurationManager来使用。
Flume配置数据的存储定义了ConfigStore这个抽象类，memory的存储实现为MemoryBackedConfigStore，实现比较简单， ...
Flume源代码解读四
- 博客分类：
- Hadoop
[ xcly原创于iteye,见http://xcly.iteye.com ]
今天介绍Flume里面用到的BackoffAlgo算法，接口由BackoffPolicy定义，让我们看看下面的几个关键的方法
reset：Reset backoff state. Call this after successful attempts.每一次成功调用之后reset状态。
backoff：Modify state as if a backoff had just happened. Call this after failed attempts。失败发生时调用的回退犯法。
i ...
[ xcly原创于iteye,见http://xcly.iteye.com ]
本节重点介绍 agentSink中ENDTOEND的实现。
每一个节点通过source获得事件Event,然后由sink处理，sink同source一样，flume提供了多种实现，sink的生成同Flume源代码解读一中介绍的实现方式类似，由SinkFactory工厂方法实现，跟SourceFactory不一样的是定义了取得SinkDecoBuilder的抽象方法,在SinkFactoryImpl中不止通过name可以获得EventSink，也可以获得EventSinkDecorator，关 ...
[ xcly原创于iteye,见http://xcly.iteye.com ]
接上次介绍tailDir的实现后，这次介绍节点的启动。节点的启动实现在高版本中会有所区别，这次针对flume0.9.3.
启动Flume Master或者Node一般都用FlumeWatchdog启动，生成pid文件，判断配置读取，利用Watchdog， 利用Runtime的exec来启动新的进程， 与新进程通信，如果子进程异常终止，就会不断尝试重新启动子进程。
我们看FlumeNode，由Watchdog调用FlumeNode的main方法， 在参数的传递上，使用Commons ...
[ xcly原创于iteye,见http://xcly.iteye.com ]
年初团队接了搭建公司Hadoop平台的研发计划，负责公司产品日志的收集，分析两个工作。
日志收集准备搭建flume(0.9.3)这个分布式日志收集集群.背景介绍完毕，马上开始。
...
软件收集
办公软件： wps
浏览器：
Google Chrome 浏览器
firefox
ie 8
Safari
TT
小白浏览器
开发工具：
MyEclipse 7.5
NetBeans IDE 7.0.1
linux操作软件：
Xshell
SecureFX 6.0
数据库管理软件：
mysql: SQLyog Enterprise v8.14
powerdesigner125
Server
apache-tomcat-6.0.20
apache-tomcat-7.0
m ...
以Use Case 驱动, 以体系结构为中心的开发流程 .
方法: 用 use case捕获需求.
1 window下环境安装 装 ActivePerl，dos窗口下cd转到 安装好的perl根目录下，一般是c:\perl, dos进入到bin目录下，
ppm可以看到所有已经安装好的包
用 ppm install DBD::mysql 可以安装好数据库驱动包
2 linux下一般自带perl， 需要安装 DBI DBD::mysql
rpm -ivh MySQL-devel-5.0.92-1.glibc23.x86_64.rpm
perl> perl -MCPAN -e "install DBI&qu ...