0 0

如何高效实现类似豆瓣图书“也喜欢、还看过”等功能25

我目前的做法,用一个表来记录用户对图书的访问次数

 

user_book_visits(user_id, book_id, visits)

 

通过这个表的数据统计出喜欢某一本图书的用户还喜欢的其它图书

 

但是有一个问题,如果用户数很多(>10000),图书数目也很大(>10000)

 

那么最坏的情况下,这个表的记录数就会达到1亿,对这样的表进行统计效率就相当低了

 

可以对user_id进行哈希变换,如进行user_id%1000操作,来减少数据量,但是精度就变低了

 

各位兄弟还有其它比较高的办法吗?望赐教,谢谢!

2008年8月15日 09:37

3个答案 按时间排序 按投票排序

0 0

用SVD算法,这里有一篇很好的文章介绍,是用ruby语言作例子的:
http://www.iteye.com/problems/2786

2008年8月16日 08:34
0 0

我现在就这样做的,感觉大数据量还是要用数据仓库。我现在的想法是把每个用户看过的书和书被谁看过分别序列化到字段中。然后定期进行数据挖掘。比如构造两张表,similar_users,same_recommendations_users,然后定期整理里面的数据。

2008年8月16日 00:47
0 0

1个用户能访问10000本书?尽管最坏的情况会出现, 但显然你的设想不合理!

2008年8月15日 10:04

相关推荐

    类似豆瓣的读书讨论系统

    书友网是一个旨在模仿豆瓣读书讨论功能的在线平台,它提供了丰富的互动体验,让用户能够分享对书籍的见解,参与讨论,结交有共同阅读兴趣的朋友。这个系统是用SQL Server 2008作为数据库管理系统,MyEclipse作为集成...

    微信小程序——豆瓣图书(截图+源码).zip

    微信小程序——豆瓣图书(截图+源码).zip 微信小程序——豆瓣图书(截图+源码).zip 微信小程序——豆瓣图书(截图+源码).zip 微信小程序——豆瓣图书(截图+源码).zip 微信小程序——豆瓣图书(截图+源码).zip ...

    vue框架仿豆瓣模板

    在"vue框架仿豆瓣模板"项目中,我们将会深入探讨如何利用Vue.js来构建一个类似豆瓣的Web应用程序界面。 首先,Vue.js的核心概念包括组件化、虚拟DOM和数据绑定。组件是Vue应用的基本构建块,可以复用并包含独立的...

    豆瓣图书爬虫以及图书数据xlsx

    标题中的“豆瓣图书爬虫”指的是使用Python编程语言编写的自动化程序,用于抓取和解析豆瓣网站上的图书信息。这种爬虫通常利用Python的网络请求库(如requests)获取网页内容,然后通过BeautifulSoup或PyQuery等HTML...

    豆瓣读书的静态网页(HTML+CSS)

    豆瓣读书作为一个广受欢迎的在线图书分享与评价平台,其网页设计精美,功能齐全。本项目旨在通过静态HTML和CSS技术,重现豆瓣读书的部分页面,虽然没有动态效果,但依然能体现出网页的基本结构和视觉风格。以下是...

    wordpress豆瓣电影图书分享插件

    **WordPress豆瓣电影图书分享插件详解** WordPress是一个广泛使用的开源内容管理系统,其强大的扩展性和丰富的插件库使得网站开发者能够轻松实现各种功能。"WordPress豆瓣电影、图书、音乐和相册展示插件"是一个专...

    高仿豆瓣图书小程序源码.zip

    【标题】"高仿豆瓣图书小程序源码"指的是一个用于创建类似豆瓣图书功能的小程序的完整源代码。豆瓣图书小程序通常包含浏览书籍信息、搜索图书、查看书籍详情、用户评分和评论等功能,它是一个轻量级的应用,适用于...

    ios-简单实现豆瓣的功能.zip

    在iOS开发中,实现类似豆瓣功能的项目是一个典型的移动端应用开发案例,涵盖了多个核心知识点。以下将详细解析这些关键技术和步骤: 1. **界面布局**: - 使用Storyboard或XIB进行界面设计,通过AutoLayout和Size ...

    微信小程序 豆瓣图书 (源码)

    微信小程序 豆瓣图书 (源码)微信小程序 豆瓣图书 (源码)微信小程序 豆瓣图书 (源码)微信小程序 豆瓣图书 (源码)微信小程序 豆瓣图书 (源码)微信小程序 豆瓣图书 (源码)微信小程序 豆瓣图书 (源码)微信小程序 豆瓣...

    基于Python Scrapy实现的爬取豆瓣读书9分榜单的书籍数据采集爬虫系统 含数据集和全部源代码

    基于Python Scrapy实现的爬取豆瓣读书9分榜单的书籍数据采集爬虫系统 含数据集和全部源代码 # -*- coding: utf-8 -*- import scrapy import re from doubanbook.items import DoubanbookItem class DbbookSpider...

    基于Python的豆瓣图书评论数据获取与可视化分析.pdf

    基于 Python 的豆瓣图书评论数据获取与可视化分析 本文档介绍了一种基于 Python 的豆瓣图书评论数据获取和可视化分析方法。该方法通过使用 Python 语言从豆瓣书评页面中获取图书相关数据,包括图书名称、作者、出版...

    豆瓣图书TOP250多线程爬虫代码

    这段代码通过使用R语言的多种强大工具,高效地实现了豆瓣图书Top250数据的爬取。其中,利用`parallel`包实现的多线程技术显著提高了爬虫的速度。此外,还展示了如何使用R语言对网页内容进行解析、数据清洗以及结果...

    豆瓣图书信息.csv

    在豆瓣图书热门标签浏览页面下,采集了全部书籍的部分信息,包括了书籍的名称、评分、豆瓣成员常用的标签以及该书籍的URL地址,共54946多条。

    微信小程序-功能示例:豆瓣图书.zip

    这个“微信小程序-功能示例:豆瓣图书.zip”文件提供了一个小程序模板,帮助开发者了解如何在微信小程序中实现与豆瓣图书相关的功能。下面将详细介绍这个示例中可能包含的知识点。 1. **微信小程序开发环境**: - ...

    豆瓣读书评论爬取.py

    爬虫,用来爬取豆瓣读书评论爬虫

    vue版豆瓣图书api搜索

    【Vue版豆瓣图书API搜索】项目是一个利用Vue.js框架和vue-resource.js插件来实现的豆瓣图书搜索功能的示例。这个项目虽然由于豆瓣API的调整,已经无法直接调用,但它仍然具有很高的学习价值,可以帮助我们理解如何在...

    豆瓣读书爬虫,保存到excel中(2021.6.28可用)

    标题中的“豆瓣读书爬虫,保存到excel中”意味着这个项目是关于编写一个网络爬虫程序,该程序能够从豆瓣读书网站抓取数据,并将抓取的信息存储到Excel电子表格中。这种爬虫通常用于数据分析、图书推荐系统或个人爱好...

    微信小程序豆瓣图书.zip

    “豆瓣图书”是知名的在线图书数据库,提供了丰富的图书详情、用户评价、评分等功能。在微信小程序中接入豆瓣图书服务,可以为用户提供方便的图书搜索和发现体验,尤其适合喜欢阅读和分享书籍推荐的用户。 开发微信...

    python豆瓣图书爬虫

    Python豆瓣图书爬虫是一种利用Python编程语言来抓取和处理豆瓣网站上图书信息的程序。这个项目主要涉及以下几个核心知识点: 1. **Python基础**:Python是实现爬虫的常用语言,因为它语法简洁,易于学习,并且有...

Global site tag (gtag.js) - Google Analytics