`
8366
  • 浏览: 812810 次
  • 性别: Icon_minigender_1
  • 来自: 西安
社区版块
存档分类
最新评论

大型网站用户行为记录的一个实现--基于clickStream(第二部分)

阅读更多

 

 

在上一节,我们已经可以使用clickstream 记录用户的行为日志了,可以按照我们的格式要求将日志记录根据log4j定义的格式记录在一个按日生成的日志文件中,这些用户的行为类似我们用 逗号分隔成 这个样子

 

每条日志 的组成是(当然你可以定义更多的日志记录的关注点):

 

用户名,IP地址,访问路径

 

admin,127.0.0.1,/oa/
admin,127.0.0.1,/oa/login.do
admin,127.0.0.1,/oa/address.do?method=list
admin,127.0.0.1,/oa/worklog.do?method=list
admin,127.0.0.1,/oa/sms.do?method=list
admin,127.0.0.1,/oa/notice.do?method=list
admin,127.0.0.1,/oa/meeting.do?method=list
Caught java.net.SocketException closing conneciton.

 

可是将日志记录在文件中 并不是一个好的方式,至少 比如来了一个需求,让分析下 这个路径 /oa/address.do?method=list  被访问了多少次,或者admin 登录了多少次,你就无能为力了,因此 我们考虑通过一个定时任务,每天将日志文件分析一下,插入到数据库中,以后我们 就可以 通过 SQL 这个强大的 语言 ,挖掘用户的行为了

 

 

而这个定时任务实现起来也很容易,附件中就是一个简单的实现,我使用fatjar 打了一个包 运行后 如下图

 

 

 

 

分享到:
评论

相关推荐

    大型网站用户行为记录的一个实现--基于clickStream(第一部分)

    "大型网站用户行为记录的一个实现--基于clickStream(第一部分)"这篇博客探讨了如何利用clickStream技术来实现这一目标。clickStream是一种追踪用户在网站上点击行为的技术,它能够捕获用户从一个页面到另一个页面的...

    myoa.rar_基于clickstream

    【标题】"myoa.rar_基于clickstream" 指的是一个使用Clickstream技术实现的大型网站用户行为记录系统。Clickstream技术主要用于收集、分析和理解用户在网站上的浏览路径和交互行为,这对于网站优化、用户体验提升...

    Python库 | streammachine-schemas-clickstream-avro-0.2.0.tar.gz

    标题中的"streammachine-schemas-clickstream-avro-0.2.0.tar.gz"是一个针对Python的库,它被封装在一个tar.gz压缩包内。这个库专注于处理clickstream数据,clickstream是指用户在浏览网站时产生的连续点击行为的...

    clickstream-1.0.2.jar

    clickstream-1.0.2.jar

    clickstream-rest-proxy

    "clickstream-rest-proxy"是一个基于Java开发的RESTful API代理服务,主要目的是处理和转发clickstream数据。Clickstream数据是指用户在浏览网站时产生的点击行为序列,这些数据对于理解用户行为、优化用户体验以及...

    clickstream_analyzer:一个基于决策树分析和预测网站点击活动的机器学习项目

    `clickstream_analyzer`项目正是这样一个专注于这方面分析的工具,它运用了机器学习中的决策树算法,旨在揭示用户在网站上的行为模式,从而帮助开发者和分析师更好地理解用户行为并作出相应的策略调整。 一、项目...

    elasticsearch-clickstream-demo

    本项目"elasticsearch-clickstream-demo"是一个基于Python的示例,用于展示如何使用Elasticsearch处理和分析点击流数据。点击流数据是用户在网站上浏览时产生的序列化记录,包括用户访问的页面、时间戳和其他相关...

    Solr-ctf-query-parser:使用Clickstream数据重新排名和扩展Solr查询返回

    2。 延长 注入与查询不匹配但通过点击点击量连接到查询的主要项目的新项目(次要项目) 3。 定制 增加和注入选定的项目类型,并利用点击点击量的选定组成部分增加和注入 这些元素可以单独使用,也可以组合使用,...

    基于web 的数据挖掘

    基于Web的数据挖掘是当前非常热门的研究领域之一,它不仅帮助网站管理者深入了解用户行为,还能提供宝贵的商业洞察。通过结合多种数据挖掘技术和XML等标准化工具,可以有效地处理Web上的半结构化数据,为企业带来...

    电子商务点击流和交易数据集 E-commerce Clickstream and Transaction 70K+ 记录 CSV

    该数据集为电子商务平台上的用户交互提供模拟数据。它包括一系列事件,例如页面浏览量、点击量、产品浏览量和购买量。每条记录都捕获会话中的用户活动,因此适用于分析点击流路径和事务序列。 特征: 用户 ID:每...

    quickstart-ct-clickstream-analytics:AWS快速入门团队

    quickstart-clickstream-analytics-ct AWS云上的Clickstream Analytics 此《快速入门》会在大约30分钟内自动在Amazon Web Services(AWS)上构建点击流分析解决方案。 它集成了AWS服务,例如Amazon Kinesis Data ...

    大数据Spark技术 使用Apache Spark预测Messy Clickstream数据中的安装程序保留共34页.pdf

    Clickstream数据指的是用户在浏览网站或应用程序时所产生的一系列点击流信息,它记录了用户的行为路径,例如用户点击链接的时间、位置、操作类型等。这类数据对于分析用户行为和预测用户留存非常重要。 4. 特征工程...

    基于AWS和Apache Kylin实现数据分析服务.pptx

    该文件介绍了一个基于AWS(Amazon Web Services)和Apache Kylin的数据分析服务解决方案。这个解决方案旨在帮助那些不熟悉大数据技术的用户也能从数据分析中受益,通过提供一站式建站服务和微信小程序,服务全球数...

    StatViz: graphical clickstream analysis-开源

    StatViz是一个基于PHP的开源项目,专门设计用于分析和可视化Web流量的工具。这个工具的核心功能在于解析和理解Web服务器的日志数据,通过提供直观的图形报告来帮助用户了解网站用户的点击行为模式。StatViz的主要...

    数据分析框架标准建设.pdf

    - **Clickstream Data**:点击流数据记录用户的浏览路径,包括直接输入URL的数量、访客来源和地理位置,这些信息可用来分析用户的行为模式和导航习惯。 - **Outcomes Data**:结果型数据关注用户行为的最终结果...

    clickstreamresultoutput.zip

    例如,可以编写一个Map函数解析每一条clickstream记录,提取出所需字段,再由Reduce函数计算各类统计指标,如页面访问频率、用户停留时间分布等。 此外,Hadoop生态系统中的其他工具,如Hive用于数据仓库构建,Pig...

    clickstream:学士论文项目

    介面Service.CreateUser Service.AuthUser Service.GetUser Service.UpdateUser Service.DestroyUser 依存关系鲁鲁姆应用服务职责范围注册一个新的应用程序(这里的应用程序是用户的应用程序,可以在该应用程序中...

Global site tag (gtag.js) - Google Analytics