hot66hot
- 浏览: 457249 次
- 性别:
- 来自: 北京
-
最新评论
-
FTest：
hystrix中request请求清不掉是什么问题啊Hystr ...
Hystrix 使用与分析 -
Aceslup：
学习博主的lua脚本。感谢分享
nginx+lua+kafka实现日志统一收集汇总 -
l0m0a0：
note:异步调用使用 command.queue().get ...
Hystrix 使用与分析 -
welcomezhang：
好东西，大家讨论的很多哈
Hystrix 使用与分析 -
hot66hot：
a13575018718 写道你好，博主，我这出现了[erro ...
nginx+lua+kafka实现日志统一收集汇总
文章列表
转载请注明出处:http://hot66hot.iteye.com/blog/2291916一:场景描述对于线上大流量服务或者需要上报日志的nginx服务，每天会产生大量的日志，这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。我们需要把这部分nginx日志统一收集汇总起来,收集过程和结果需要满足如下需求:
支持不同业务获取数据,如监控业务，数据分析统计业务，推荐业务等。
数据实时性
高性能保证
二:技术方案得益于openresty和kafka的高性能，我们 ...
转载请注明出处哈:http://hot66hot.iteye.com/blog/2155036
一:为什么需要Hystrix?
在大中型分布式系统中，通常系统很多依赖(HTTP,hession,Netty,Dubbo等)，如下图:
在高并发访问下,这些依赖的稳定性与否对系统的影响非常大,但是依赖有很多不可控问题:如网络连接缓慢，资源繁忙，暂时不可用，服务脱机等.
如下图：QPS为50的依赖 I 出现不可用，但是其他依赖仍然可用.
写这篇wiki的目的:最近在调整Hbase的JVM,翻了些文档和wiki,想写点东西,给自己和想了解jvm日志和参数的同 学提供些帮助.
一:理解GC日志格式,读GC日志的方法
1:开启日志
-verbose:gc
-XX:+PrintGCDetails
-XX:+PrintGCDateStamps
-Xloggc:/path/gc.log
-XX:+UseGCLogFileRotation 启用GC日志文件的自动转储 (Since Java)
-XX:NumberOfGClogFiles=1 GC日志文件的循环数目 (Since Java)
-XX:GCL ...
最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 release出来后，换掉memCache 集群. 转载请注明出处哈:http://hot66hot.iteye.com/admin/blogs/2050676
一:关于redis cluster
1:redis cluster的现状
reids-cluster计划在redis3.0中推出，可以看作者antirez的声明:http://antirez.com/news/49 (ps:跳票了好久，今年貌似加快速度了),目前的最新版本见:https://raw.githubuserconten ...
背景
主要介绍，日常线上mysql操作，需要注意的情况。包括字段类型，索引，数据表，上线alter table等规范和注意事项。
等级划分：建议，不推荐，禁止
所有规则总有例外，要灵活，辩证看待问题
创建sql规范
DATABASE
1，是否需 ...
现象：
线上数据库每个表分配一个ibdata,但是总的ibdata文件很大，超过10G，用相关工具查看，大部分空间都是undo_log
分析了db33的ibdata1的记过
Total number of page: 2398464: 2.4M的page * 16K = 38G
Insert Buffer Free List: 2659
B-tree Node: 5720
Freshly Allo ...
Sphinx介绍
Sphinx是由一个开源的全文检索引擎，功能类似Lucune，用C++编写，可为其他应用提供高速、低空间占用、高结果相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成，当前系统内置MySQL和PostgreSQL数据库数据源的支持，也支持从标准输入读取特定格式的XML数据，通过修改源代码，用户可以自行增加新的数据源（例如：其他类型的DBMS的原生支持）
Sphinx特性
1:Sphinx支持高速建立索引（可达10MB/秒，而Lucene建立索引的速度是1.8MB/秒）
2:高性能的搜索（在2--4GB的文本数据上，平均每次检索响应时间小于0. ...
写得非常好，值得细细品味。
英文原文：http://www.quora.com/Software-Engineering/What-makes-a-good-engineering-culture
======================== 分割线 ==========================
如何建立一个好的工程师文化，对任何一个技术团队都是一个挑战。很有幸 ...
JMeter介绍
JMeter是Apache下一个类似LoadRunner的开源性能测试项目，可用用来对静态的和动态的资源（如：files, Servlets, Perl scripts, Java Objects, Data Bases and Queries, FTP Servers）的性能进行测试.
可对以下类型服务进行性能测试：
Web - HTTP, HT ...
mysql中insert into,replace into,insert ignore into,on duplicate key update用法区别：
insert into表示插入数据，数据库会检查唯一约束，如果出现重复会报错。语句后加入on duplicate key update发现重复时变为更新操作,在原有记录基础上，更新指定字段内容，其它字段内容保留。
replace into表示插入或替换数据，需求表中有PrimaryKey，或者unique索引，如果数据库已经存在数据，则用新数据替换，如果没有重复效果则和insert into一样，如果记录有多个字段，在插入的时候如果有 ...
在公司分享了Quartz，发布出来，希望大家讨论补充.
CRM使用Quartz集群分享
一:CRM对定时任务的依赖与问题
二:什么是quartz,如何使用,集群,优化
三:CRM中quartz与Spring结合使用
1:CRM对定时任务的依赖与问题
1)依赖
(1)每天晚上的定时任务,通过sql脚本 + crontab方式执行
#crm
0 2 * * * /opt/***/javafiles/***/shell/***_daily_stat.sql
30 7 * * * /opt/***/javafiles/***/shell/***_data_fix
30 0 * * * /o ...
现在的工作环境跟MySQL打的交道比较多,把平时工作中遇到的有意思SQL的部分总结一下.
知识来源：看书,工作总结,官方文档...
从哪开始呢，先从基本结构开始吧:ok let's go.
1:先看MySQL整体模块图:
(图片取自MySQL核心技术)
从图中 ...
从分组中选择极值查询/前N项查询 是经常会遇到的问题 ,下面通过简单举例展示这种SQL的写法
举例表
type variety price apple gala 2.79 apple fuji 0.24 apple limbertwig 2.87 orange valencia 3.59 orange navel 9.36 pear bradford 6.05 pear bartlett 2.14 cherry bing 2.55 cherry chelan 6.33
Selecting the one minimum row f ...
在这里首先感谢CSDN的KNIGHTRCOM这位仁兄。
发一份PL/SQL Guides and reference中译版
想学习PL/SQL的同学可以download下来看看
如果对大家有用就给个良好吧 。。。
最近公司要换图文混排 ，发现kindEditor非常不错，下载http://www.kindsoft.net/下来用了用，发现上传功能只有php的，郁闷。。。
没办法自己写一个。。。
引用upload.jsp
<%@ page pageEncoding="gbk"%>
<%@page
import="java.util.*,java.io.*,
org.apache.commons.fileupload.FileItem,
org.apache.commons.fileupload.FileUploadException,
o ...