数据分析服务建设（未完待续）

 
数据中心要诀：全、稳、准、快
 为做到上面四方面，需要如下几方面的辅助工作：

（因时间关心，如下文字部分待续）

一、稳定性-数据监控

源监控

1.游戏内数据post可能丢数据（go开发syslog-ng嵌入程序，数据转发到Beanstalk。队列管理保证数据完整性）

2.Scribe到hdfs可能丢数据，和rsync对比

3.syslog-ng日志汇总可能丢。各机器各业务日志数量同比、环比。

4.日志内容监控：标准化接口

结果监控

计算结果同比、环比

依赖资源监控

mongoDB、levelDB、Hbase

二、可扩展性

1.业务扩展性

平台日志收集。Syslog-ng日志收集到中心机，匹配特定关键字

2.服务扩展性

游戏内数据收集，新游戏上线时的扩展性

三、可维护性

一堆crontab。。。

基于状态机的离线任务调度