推荐系统架构简介

 上游

1. 用户上传小视频，后台将视频写入数据库，生产侧根据视频内容生产首帧图和封面图
2. 对视频内容进行审核，确认播控相关信息（是否可播、分端播控、地域播控、是否可推荐等）
3. AI离线生成各种特征信息，例如封面图质量得分，封面图清晰度得分，内容质量得分等

•Corpus侧

1. 每天一次全量任务，Join维度信息，生成大宽表
2. 业务方从大宽表读取数据，按照入场规则进行过滤，生成相关的业务表（即业务推荐池）
3. 生成PB文件推送给引擎
4. 每天实时增量任务处理增量视频，通过Kafka队列给下游（画像、引擎、算法）消费

•算法

1. 离线训练产生各种模型，生成模型对应的信息并以文件的形式提供给引擎使用
2. 离线扫描corpus表，生成各种倒排，供召回使用，生成视频特征正排，供引擎排序使用
3. 设置多样性控制策略，供引擎做多样性控制

•引擎

1. 内存加载PB文件，根据时间回溯Kafka消息，确保corpus数据完整，回溯完毕后使用最新corpus数据
2. 接收到用户请求后，从用户画像获取兴趣，执行个性化召回（兴趣召回，相似视频召回等）和非个性化召回（新视频召回、热点召回、保量召回等），共30+路召回，3000+候选视频
3. Check（推出历史记录过滤，视频下线，地域播控等）后根据模型和视频特征进行粗排，取top 1000后进行精排（相比粗排使用更多特征和更复杂模型），取top300，再结合多样性控制阶段1（打散），取top40，然后多样性控制阶段2，取top10返回给调用端，回写推出记录