浏览 4990 次
锁定老帖子 主题:海量数据求并集交集
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
|
|
---|---|
作者 | 正文 |
发表时间:2014-08-19
某一个APP有许多个用户,每个用户会有若干的标签,比如国家类的标签有中国,美国什么的,爱好类的标签有旅游,美食什么的。开发者通过后台选择若干个标签,给自己的应用符合这些标签的用户推送消息。比如: 求标签A的用户和标签B的用户交集再跟标签C的用户的并集 最简单的算法就是依次取出每个标签的用户,然后遍历求出结果。 如果用户很多,每个标签下的用户很多,计算的时候给出的标签数量很多时,计算出来的结果集也很大,放到内存中也不太合适吧,这样简单的算法应该就不可行了吧。 大家有什么方案呢?要使用Hadoop之类的计算框架吗? 声明:ITeye文章版权属于作者,受法律保护。没有作者书面许可不得转载。
推荐链接
|
|
返回顶楼 | |
发表时间:2014-12-01
有app,用户,标签,信息4个主体。用树结构来解决。该app是根节点,用户是父节点,标签是结构子节点。
目的 通过后台选择若干标签,给符合这些标签类的用户推送信息。 设计思路 从所有标签库中筛选要选择的标签后,依据要选择的标签来是筛选用户,后给用户发送信息。 用分治的思想来设备整个筛选流量。 |
|
返回顶楼 | |
发表时间:2014-12-01
从所有标签库中筛选要选择的标签后,依据要选择的标签来是筛选用户,后给用户发送信息。
用分治的思想来设计整个筛选流程。 |
|
返回顶楼 | |
发表时间:2014-12-01
当用户的电脑运行速度快的时候,同意楼上见解。
|
|
返回顶楼 | |