推荐引擎-（2）推荐系统的实验方法。

     在推荐系统中，主要有3种评测推荐系统的方法。即离线实验（offline experiment），用户调查（user study），在线实验（online experiment）。

     1.离线实验

              离线实验一般由如下几个步骤组成：

                     （1）通过日志系统获得用户的行为数据，并按照一定格式生成一个标准的数据集。

                     （2）将数据集按照一定的规则分成训练集和测试集。

                     （3）在训练集上训练用户兴趣模型，在测试集上进行预测

                     （4）通过事先定义好的离线指标评测算法在测试集上测试结果

优点	缺点
不需要有对实际系统的控制权 不需要用户参与实验 速度快，可以测试大量算法	无法计算商业上关心的指标 离线实验的指标和商业指标存在差距

      2.用户调查

      3.在线实验(AB测试)

 

评测指标

      1.用户满意度

             (1)问卷

             (2)可以通过点击率、用户停留的时间和转化率等指标度量用户的满意度

      2.预测准确度

             (1)评分预测

                   RMSE（均方根误差）

                   MAE（平均绝对误差）

                   比较用户的实际评分，和预测评分

           （2）TopN推荐

                一般通过准确率（precision）/召回率（recall）度量

           （3）覆盖率

                    描述的是对长尾的挖掘能力。

             (4) 多样性

             (5)新颖性

             (6)惊喜度(serendipity)：可以理解为与用户的历史兴趣并不同，但却让用户满意，那么就说惊喜度很高.

             (7)信任度

             (8)实时性

             (9)健壮性

             (10)商业目标

       评测维度

             用户维度

             物品维度

             时间维度