一种移动APP统计平台的架构方案（适用于千万级用户的应用）

移动互联网现在在飞速的发展，而移动APP也越来越多，当一个应用的用户量达到百万以及千万级别的时候，统计这个应用的用户分布，用户行为，以及活跃度成为产品运营的必须条件；而统计出这些基本的数据，需要分析APP上报来的日志，一般用户量达到千万的时候，日志量会有十亿或者百亿条，如果仍旧使用传统的数据库进行数据分析，所需要系统资源以及消耗的时间会非常恐怖，如果使用定时脚本的预处理，也不一定可以在当天就能完成昨天的数据统计。这里提供一个基于hadoop、hive的统计平台架构，用来进行日志分析，从结果上来看，目前从30亿条基础数据中统计出来用户的基本信息，大概需要花1-2个小时的时间就结束了。每天将这些数据插入到临时存储的mysql当中，供运营人员查询，即时查询一般不超过5秒，满足了基本的统计需求。

首先介绍一下基于移动app的基本统计项，可以参考“友盟”的移动应用统计（不是做广告哦），截图如下：



在这里就不一一阐述各个统计项的规则了，举几个例子，例如：

http://lengyueblog.eicp.net/?p=33