需求:计算用户的相似度,有用户列表U和特征列表F以及用户和特征的关系<U,F>。 根据<U1,Fn> ∩ <U2, Fm>的交集数来判断U1和U2的相似度。
解决方法:
一、用户维度的Join
最暴力低效的方法,因为用户量一般很大,所以join效率极低。一般不考虑。
二、特征维度
将用户对特征的矩阵转成特征对用户的矩阵。
1、转成特征对用户的矩阵:F1->U1...Un
map: context.write(F, U)
reduce: context.write(F,List<U>)
2、计算相似度
各种解决方案如下:
(1)直接输出UxUy pair(IO密集型)
map: 将user list拆成各user pair对并输出,具体如下所示范例(代码只是伪码):
String data[] = value.toSting().split("\t"); String users[] = data[1].split(",");//user间以,分隔 for(int i = 0; i < users.length; i ++){ for(int j = i + 1; j < users.length; j ++){ //判断users[i]与users[j]的大小 context.write(users[i]+"_"+users[j], 1);//这里要加上users[i]与users[j]大小的判断,小放前,大放后,便于后面的操作 } }
reduce: 对每个user pair的value list进行求和,即是这两个用户的相似度
缺点:map端输出的user pair很多(O(N*N)),使reducer的shuffle成为瓶颈
(2)按各user进行聚合(计算密集型)
<u1,u3,u5,u2>,按(1)的输出是<u1_u3-->1>, <u1_u5-->1>, <u1_u2-->1>, <u3_u5-->1>, <u3_u2-->1>,<u5_u2-->1>。 (1是次数)
按user聚合的结果是:<u1-->u2,u3,u5> ,<u2-->u3,u5>,<u3-->u5>,输出数为N(U)-1。
该方案需要对user list进行排序,便于后面reduce进行按userid聚合,如一个user list输出的是<u1-->u2,u3,u5>,另一个是<u1-->u3,u5>,这样reduce时就是u1->u2,u3,u5,u3,u5。
而如果不排序的话就需要再弄一个job进行操作:如<u1-->u2,u3,u5>, <u2-->u1,u3,u5> 。 这样会得到<u1_u2>与<u2_u1>,还需要job进行一次合并求和处理。
mapper:
StringBuilder uuidListStr = new StringBuilder(); String data[] = value.toString().split("\t"); String uuidArr[] = data[1].split(","); Arrays.sort(uuidArr); for(int i = 0; i < uuidArr.length; i ++){ for(int j = i + 1; j < uuidArr.length; j ++){ uuidListStr.append(uuidArr[j]).append(","); } if(uuidListStr.length() > 0){ uuidListStr.deleteCharAt(uuidListStr.length() - 1); context.write(new Text(uuidArr[i]), new Text(uuidListStr.toString())); uuidListStr = new StringBuilder(); } }
reduce: 会得到u1->u2,u3,u5,u3,u5, 计算values中各用户出现的个数<ux,count>, 然后输出count>即可
//利用hashMap来管理各user的次数 Map<String, Integer> countMap = new HashMap<String, Integer>(); for (Text v : values) { //每个v都是u1,u2,u3这样的形式 uuids = v.toString().split(","); for (int i = 0; i < uuids.length; i++) { uuid = uuids[i]; tmp = countMap.get(uuid); if (null == tmp) { countMap.put(uuid, new Integer(1)); } else { countMap.put(uuid, tmp + 1); } } } for (Map.Entry<String, Integer> entry : countMap.entrySet()) { context.write(new Text(key.toString() + "_" + entry.getKey()), new IntWritable(entry.getValue())); }
该方案有个瓶颈是map中自己实现的排序,可能某个F下用户数特别大,会造成数据倾斜,有的user list特别大,排序花费时间长,导致整个任务变慢(计算密集型)。一种思路是将splitSize变小,如从默认的64M变成8M,这样InputSplit数将变多,即Mapper变多,各个Mapper处理的数据量变小,充分发挥并行的优势。
具体设置splitSize的代码:
//splitSize = max(minSize, min(maxSize, blockSize)) conf.set("mapred.min.split.size", 8 * 1024 * 1024 + ""); conf.set("mapred.max.split.size", 8 * 1024 * 1024 + "");
(3)排序放到Reducer端
在转置特征对用户的矩阵的job中reduce已经得到了各F的user list,则可以直接对user list进行排序并输出按user聚合的结果。
a、reduce方法中对user list进行排序
会遇到和(2)方案中一样的数据倾斜问题,且无法像(2)那样减少splitSize来减少各Mapper的处理数据量,增大Mapper数。 该方案一般会作死,数据量大时不用考虑。
b、利用Reducer的Sort功能
需要覆盖的类:
需要覆盖的类:
MapOutputKey:其中的compareTo用于map/reduce各阶段进行排序的依据
Partitioner: 用于partition分到哪个区
GroupingComparator:用于reduce的sort-->reduce中 key迭代时的分组。
Reducer的各阶段为:Shuffle/Merge, Sort, Reduce, Output。其中Sort与Reduce是并行的。Sort迭代遍历得到的记录会进行grouping,从而得到reduce方法中的values。
Sort会将各文件按Key(MapOutputKey)的大小建最小堆,每取一个最小Key的记录, 都会到GroupingComparator进行判断(具体源码没研究,不过这里面的实现应该是会保存上一个记录的Key, 如果当前记录与上一Key 通过GroupingComparator方法得到的结果是一样的话,则把当前记录加到group的记录列表中,该列表元素顺序是按插入顺序的;如果不一样的话,就将Key以前列表的数据传到reduce方法,并清空group的记录列表)
我们可以创建自己的MapOutputKey
public class GeoMapOutputKey implements Writable,WritableComparable<GeoMapOutputKey> { private Text geohash = new Text();//相当于Feature private Text uuid = new Text(); //相当于user public GeoMapOutputKey(){} public GeoMapOutputKey(String geohash, String uuid){ this.geohash.set(geohash); this.uuid.set(uuid); } public Text getGeohash() { return geohash; } public void setGeohash(Text geohash) { this.geohash = geohash; } public Text getUuid() { return uuid; } public void setUuid(Text uuid) { this.uuid = uuid; } @Override public void write(DataOutput dataOutput) throws IOException { geohash.write(dataOutput); uuid.write(dataOutput); } @Override public void readFields(DataInput dataInput) throws IOException { geohash.readFields(dataInput); uuid.readFields(dataInput); } @Override //重点是这个compareTo方法,会先根据geohash进行排序,再根据uuid进行排序 public int compareTo(GeoMapOutputKey o) { int compareValue = this.geohash.compareTo(o.geohash); if(compareValue == 0){ compareValue = this.uuid.compareTo(o.uuid); } return compareValue; } @Override public int hashCode() { return geohash.hashCode() * 163 + uuid.hashCode() * 163; } @Override public boolean equals(Object o) { if (o instanceof GeoMapOutputKey) { GeoMapOutputKey ok = (GeoMapOutputKey) o; return geohash.equals(ok.getGeohash()) && uuid.equals(ok.getUuid()); } return false; } @Override public String toString() { return geohash + "\t" + uuid; } }
通过这个GeoMapOutputKey,就可以保存先按Feature进行排序,再按user进行排序。(map输出有N行记录,Reducer默认情况下也要对这N行记录进行compare,所以性能没有什么影响)。
Mapper的map阶段的输出会调用Partitioner方法进行决定分区,默认情况下会按feature+user进行分区,我们需要按Feature进行分区,所以要覆盖:
public class GeoPartitioner extends Partitioner<GeoMapOutputKey, Text> { @Override public int getPartition(GeoMapOutputKey geoMapOutputKey, Text text, int numPartitions) { //这里的geohash就是feature return Math.abs(geoMapOutputKey.getGeohash().hashCode()) % numPartitions; } }
默认情况下Reducer的GroupingComparator会按Key进行grouping聚合操作,这样reduce方法中的key就是feature_u1这样的,没多大帮助,所以我们要自定义GroupingComparator,让相同feature的聚合在一起,即reduce方法中的key是feature。
public class GeoGroupingComparator extends WritableComparator { protected GeoGroupingComparator() { super(GeoMapOutputKey.class, true); } @Override public int compare(WritableComparable a, WritableComparable b) { GeoMapOutputKey ok1 = (GeoMapOutputKey) a; GeoMapOutputKey ok2 = (GeoMapOutputKey) b; //这里只对feature进行比较,即会按feature进行grouping聚合 return ok1.getGeohash().compareTo(ok2.getGeohash()); } }
设置这两个类的代码:
job.setMapOutputKeyClass(GeoMapOutputKey.class); job.setGroupingComparatorClass(GeoGroupingComparator.class);
通过这样的设置,就可以实现Sort最小堆是按先feature再user进行排序,而聚合时又是按feature进行聚合。
reduce中的key是<F,u1>,<F,u2>,<F,u5>中的某一个(第一个?),value是<u1,u2,u5>
这个job的输出是U1–>u2,u3,u5这样的形式。下一个job的mapper只要context("u1","u2,u3,u5"),而reducer和(2)中的reducer操作一样。
第(3)种方案是最优的,处理速度比前面的高效很多。
相关推荐
pandas whl安装包,对应各个python版本和系统(具体看资源名字),找准自己对应的下载即可! 下载后解压出来是已.whl为后缀的安装包,进入终端,直接pip install pandas-xxx.whl即可,非常方便。 再也不用担心pip联网下载网络超时,各种安装不成功的问题。
基于java的大学生兼职信息系统答辩PPT.pptx
基于java的乐校园二手书交易管理系统答辩PPT.pptx
tornado-6.4-cp38-abi3-musllinux_1_1_i686.whl
Android Studio Ladybug 2024.2.1(android-studio-2024.2.1.10-mac.dmg)适用于macOS Intel系统,文件使用360压缩软件分割成两个压缩包,必须一起下载使用: part1: https://download.csdn.net/download/weixin_43800734/89954174 part2: https://download.csdn.net/download/weixin_43800734/89954175
有学生和教师两种角色 登录和注册模块 考场信息模块 考试信息模块 点我收藏 功能 监考安排模块 考场类型模块 系统公告模块 个人中心模块: 1、修改个人信息,可以上传图片 2、我的收藏列表 账号管理模块 服务模块 eclipse或者idea 均可以运行 jdk1.8 apache-maven-3.6 mysql5.7及以上 tomcat 8.0及以上版本
tornado-6.1b2-cp38-cp38-macosx_10_9_x86_64.whl
Android Studio Ladybug 2024.2.1(android-studio-2024.2.1.10-mac.dmg)适用于macOS Intel系统,文件使用360压缩软件分割成两个压缩包,必须一起下载使用: part1: https://download.csdn.net/download/weixin_43800734/89954174 part2: https://download.csdn.net/download/weixin_43800734/89954175
matlab
基于java的毕业生就业信息管理系统答辩PPT.pptx
随着高等教育的普及和毕业设计的日益重要,为了方便教师、学生和管理员进行毕业设计的选题和管理,我们开发了这款基于Web的毕业设计选题系统。 该系统主要包括教师管理、院系管理、学生管理等多个模块。在教师管理模块中,管理员可以新增、删除教师信息,并查看教师的详细资料,方便进行教师资源的分配和管理。院系管理模块则允许管理员对各个院系的信息进行管理和维护,确保信息的准确性和完整性。 学生管理模块是系统的核心之一,它提供了学生选题、任务书管理、开题报告管理、开题成绩管理等功能。学生可以在此模块中进行毕业设计的选题,并上传任务书和开题报告,管理员和教师则可以对学生的报告进行审阅和评分。 此外,系统还具备课题分类管理和课题信息管理功能,方便对毕业设计课题进行分类和归档,提高管理效率。在线留言功能则为学生、教师和管理员提供了一个交流互动的平台,可以就毕业设计相关问题进行讨论和解答。 整个系统设计简洁明了,操作便捷,大大提高了毕业设计的选题和管理效率,为高等教育的发展做出了积极贡献。
这个数据集来自世界卫生组织(WHO),包含了2000年至2015年期间193个国家的预期寿命和相关健康因素的数据。它提供了一个全面的视角,用于分析影响全球人口预期寿命的多种因素。数据集涵盖了从婴儿死亡率、GDP、BMI到免疫接种覆盖率等多个维度,为研究者提供了丰富的信息来探索和预测预期寿命。 该数据集的特点在于其跨国家的比较性,使得研究者能够识别出不同国家之间预期寿命的差异,并分析这些差异背后的原因。数据集包含22个特征列和2938行数据,涉及的变量被分为几个大类:免疫相关因素、死亡因素、经济因素和社会因素。这些数据不仅有助于了解全球健康趋势,还可以辅助制定公共卫生政策和社会福利计划。 数据集的处理包括对缺失值的处理、数据类型转换以及去重等步骤,以确保数据的准确性和可靠性。研究者可以使用这个数据集来探索如教育、健康习惯、生活方式等因素如何影响人们的寿命,以及不同国家的经济发展水平如何与预期寿命相关联。此外,数据集还可以用于预测模型的构建,通过回归分析等统计方法来预测预期寿命。 总的来说,这个数据集是研究全球健康和预期寿命变化的宝贵资源,它不仅提供了历史数据,还为未来的研究和政策制
基于微信小程序的高校毕业论文管理系统小程序答辩PPT.pptx
基于java的超市 Pos 收银管理系统答辩PPT.pptx
基于java的网上报名系统答辩PPT.pptx
基于java的网上书城答辩PPT.pptx
婚恋网站 SSM毕业设计 附带论文 启动教程:https://www.bilibili.com/video/BV1GK1iYyE2B
基于java的戒烟网站答辩PPT.pptx
基于微信小程序的“健康早知道”微信小程序答辩PPT.pptx
Capital Bikeshare 数据集是一个包含从2020年5月到2024年8月的自行车共享使用情况的数据集。这个数据集记录了华盛顿特区Capital Bikeshare项目中自行车的租赁模式,包括了骑行的持续时间、开始和结束日期时间、起始和结束站点、使用的自行车编号、用户类型(注册会员或临时用户)等信息。这些数据可以帮助分析和预测自行车共享系统的需求模式,以及了解用户行为和偏好。 数据集的特点包括: 时间范围:覆盖了四年多的时间,提供了长期的数据观察。 细节丰富:包含了每次骑行的详细信息,如日期、时间、天气条件、季节等,有助于深入分析。 用户分类:数据中区分了注册用户和临时用户,可以分析不同用户群体的使用习惯。 天气和季节因素:包含了天气情况和季节信息,可以研究这些因素对骑行需求的影响。 通过分析这个数据集,可以得出关于自行车共享使用模式的多种见解,比如一天中不同时间段的使用高峰、不同天气条件下的使用差异、季节性变化对骑行需求的影响等。这些信息对于城市规划者、交通管理者以及自行车共享服务提供商来说都是非常宝贵的,可以帮助他们优化服务、提高效率和满足用户需求。同时,这个数据集也