ldd600
- 浏览: 103998 次
- 性别:
- 来自: 上海
-
博客专栏
-
-
Hyperic插件开发不完...
浏览量：11285
最新评论
-
u011506498：
楼主，能否求源码，924393541@qq.com，多谢！
Java爬虫框架（三）--模块设计之二 -
yutiannanjingjiangsu：
leftpop的返回值问题，在jedis2.6中似乎已解决（l ...
Spring-data-redis使用心得 -
xpf123fly：
楼主，能否求源码，593829792@qq.com，多谢！
Java爬虫框架（三）--模块设计之二 -
wenlinguo：
写得不是很好理解
Hyperic插件开发不完全指南（二）--插件进阶 -
406657836：
java 在server模式下对while进行了优化。把判断提 ...
Java进程CPU100%的问题
文章列表
一、 架构图
那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。
爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容
数据库：存储商品信息
索引：商品的全文搜索索引
Task队列：需要爬取的网页列表
Visited表
（1） 配置plugin descriptor
Service可以引用server的配置。Server相当于service的parent。
<?xml version="1.0"?>
<plugin package="org.hyperic.hq.plugin.monitor">
<classpath>
<include name="pdk/lib/mx4j"/>
</classpath>
1. hyperic SQL 插件
SQL plugin功能就是定义一个查询，将DB中的值不停的查出来，收集显示，报警。
<plugin>
<service name="testSql">
<!-- config defined by the sqlquery-plugin -->
<config include="sql"/>
1. hyperic JMX插件
作为java为服务端语言的web项目，JMX MBean是监控管理很好的选择。Hyperic可以很容易地mbean集成进来。Hyperic可以自动发现定义好的Mbean服务类型的服务。
JMX监控插件开发步骤
（1） 设计好自己所要监控的业务逻辑，开发Mbean
1. Hyperic插件
Hyperic是插件式的。
从层次模块划分：配置(product plugin)，服务发现(detector)，数据收集也称为monitor（collector, measurement），事件跟踪(track)，报警，处理(control)，UI(HQU)。
从功能模块划分：JMX, Script，SQL Query，SNMP等插件，往往一个功能模块包含多个层次。
1. hyperic简介
Hyperic HQ是一个基于java的监控软件，由一个中心监控服务器和一个或多个远程代理组成，远程代理用来向服务器报告节点信息。
Hyperic的特点
1. 分布式架构
2.
上个星期用redis,protobuf实现了一个轻量级的mq。过程中尝试用了spring-data-redis，目前是1.0.0.2.M2-SNAPSHOT版本，貌似之前已经release了一个版本。
优点
1.目前redis java客户端有多个：如jredis，jedis。用adapter的方式屏蔽了底层实现。让 ...
用utf-8编码的网站解决gbk编码请求和应答的乱码问题
一.目前现状
server.xml
<Connector URIEncoding="utf-8"
connectionTimeout="200000" port="7080"
protocol="HTTP/1.1" redirectPort="8443" useBodyEncodingForURI="true"/>
character filter do ...
1.
背景
mongoDB版本1.8.1
collection stats
> db.user.gift.stats()
{
"ns" : "statgame.user.gift",
"count" : 650,
"size" : 162804,
"avgObjSize" : 250.46769230769232,
"st ...
背景
用户填完提交表单，后台验证数据。验证通过，前端JS在页面加载时自动post并打开一个新的页面，新的页面时第三方支付平台的页面。验证出错，在当前页面显示错误提示。
#if(canPost)
<script>
$("#payForm").submit()
</script>
#end
问题
每次post时都会被浏览器block，生成了很多无用的支付订单。经研究尝试发现是因为没有点击任何页面组件，页面加载时自动提交打开新窗口的问题，改为AJAX验证，验证通过，返回后打开新页面，同样也被block。
解决 ...
统计服务对业务数据进行迁移，分析。
外部迁移：
业务数据存储于Mysql中，Mysql存储的数据会进行垂直，水平切分，业务数据会存在于多个mysql表中，数据分散使得分析程序写起来头大。并且mysql的单表存储量有限，扩展起来也不容易，要定期做数据迁移。于是我们将mysql中的数据定时地迁移到mongoDB中，并清理mysql中的数据。
外部迁移的程序是通用的：全量迁移，增量迁移（insert，update）。迁移时是并发迁移的，可以根据业务ID或者时间分片。比如一个表中主要的操作是insert，这时他时间段内（上次迁移的结束时间到这次迁移的时间）ID基本是连续增长的，所 ...
第
1 页：
MongoDB Coming
第
2 页：大纲
大纲
简介
Why Mongo
Mongo 特性
Mongo 用法
Mongo 架构
MysqlMongo
Mongo java
Java DSL
¬
nginx：在nginx作了反向代理将pay.xxx.com映射到了hostname:80/pay
location ^~ / {
proxy_pass http://hostname:80/pay/;
}
tomcat: 在tomcat中获取requestURL打出来的是http://pay.xxx.com/pay/a/b.html, 多了一个pay，tomcat里面应该是自己拼装了requestURI。这样的requestURL重定向后，再经过nginx访问就会是http://pay.xxx.com/pay/pay/a/b. ...
1.延迟删除
一条数据会被很多数据引用。当被引用的数据删除时，引用的数据也需要删除。这时候可以用延迟删除的方法。
例子：
用户发表的帖子，可以被转发到很多地方。所有转发过的贴都是对原帖的引用，用户接着把他的原帖删除，所有被转发过的帖子也需要进行清理。我们采用的是延迟删除的方法，用户操作时，先直接删除原帖，被转发的贴，在点击时，会到原帖加载内容，这时发现原帖已经不存在，此时这条被点击的转发贴也会被删除。
当用户访问引用的数据时，发现被引用的数据不存在，此时删除引用的数据。
2.线下删除
一条数据关联到很多数据。但这条数据是所有其他数据的入口。
例子：
一个扣扣群里，会有很多内容，相册，图片等等 ...