`
crayster
  • 浏览: 51123 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

利用SAE cron功能实现上海二手房数据的自动收集

    博客分类:
  • WEB
阅读更多

上海网上房地产每天都会公布二手房挂牌数据,却不提供历史数据查询,让人无法知道挂牌量的增减趋势。
在很多论坛上,都看到有好心人,常年坚持手动贴当天数据……
碰巧最近在玩SAE,于是想到做个小网站,自动收集并展示数据。

URL: http://fangdi.sinaapp.com
效果图:


实现方法十分简单:
1. 做一个小的Web Service:访问上海网上房地产,提取二手房挂牌数据,并存入数据库。这就是一个简单的HTML解析的工作。
2. SAE提供CRON功能,做一个每天定时执行的计划任务,调用第一步完成的功能。这样每日的数据收集就完成了。
3. 将收集到的数据展示出来即可(有很多js图表库可供选择,我用了Highcharts,还挺方便的)。

  • 大小: 30.8 KB
分享到:
评论

相关推荐

    利用CRON进程实现Oracle数据库定时备份.pdf

    总的来说,利用CRON进程实现Oracle数据库定时备份是一种有效且可靠的策略,尤其对于关键业务系统,它可以在不中断服务的情况下保障数据安全,避免因数据丢失造成的损失。同时,结合适当的恢复策略,可以进一步增强...

    cron表达式自动生成页面版

    这个"cron表达式自动生成页面版"是一个实用的工具,它允许用户在网页界面上自定义时间规则,然后生成对应的cron表达式,方便地用于各种定时任务的配置。 cron表达式的格式通常包含6个或7个字段,分别代表秒、分、...

    cron表达式自动生成

    这对于开发者来说非常有用,特别是在编写Web应用,如JSP(JavaServer Pages)时,可以将生成的表达式嵌入到代码中,实现定时任务的自动化执行。 `cron.css`文件是CSS样式表,用于控制生成页面的样式和布局,使得...

    cron表达式前端生成工具,html实现,可直接用

    - 数据备份:服务器可以利用cron表达式定期自动备份数据库。 - 统计分析:对于需要定时进行数据抓取和分析的Web服务,可以设置cron任务进行定期处理。 7. **前端工具的优势**: - 可视化:用户可以直观地看到...

    应用再html、jsp上的自动生成Cron表达式

    在IT领域,尤其是在Web开发中,`Cron表达式`是一种强大的工具,用于安排周期性的任务执行。在HTML和JSP(JavaServer...在实际开发过程中,务必了解和掌握Cron表达式的基础知识,以及如何利用Java相关的库来实现其功能。

    c++任务调度,支持cron表达式

    6. **线程安全(Thread Safety)**:考虑到多线程环境,Bosma::Scheduler库可能已经实现了线程安全的机制,确保在并发环境中添加、修改或删除任务时不会出现数据竞争问题。 7. **测试**:提供的"SchedulerTest.sln...

    Cron_cron_Cron表达式解析_

    理解并实现Cron表达式解析是构建自己的任务调度系统的重要步骤,这对于自动化运维、数据备份、日志清理等场景非常有用。通过学习和应用这个C语言的实现,开发者可以获得对Cron工作原理的深入了解,并具备在不同环境...

    quartz cron表达式 Bootstrap实现

    在实现cron表达式编辑器时,Bootstrap的表单组件、按钮和提示功能可以提升用户体验,使得界面既美观又易于使用。 集成到你的项目中,你需要做以下步骤: 1. 引入jQuery和Bootstrap的相关库,包括CSS和JavaScript...

    利用更改cron.d文件修改定时时间

    利用更改cron.d文件修改定时时间,不过你首先要准备一个能运行的cron脚本

    js cron 表达式生成器

    `cron`表达式源于Unix系统,用于定义周期性任务的调度,而在JavaScript环境中,我们通常使用第三方库来实现`cron`表达式的功能。 "Cron调度器"是一个工具,允许开发者创建和管理基于`cron`表达式的定时任务。这个...

    cron中英文表达式

    在JavaScript中,我们可以利用类似cron的表达式来实现定时任务,例如通过`jquery-cron`库。这个库提供了一个用户友好的界面,帮助开发者在Web应用中创建和管理cron表达式。 cron表达式由5-6个(或者7个,如果包含...

    quartz cron js生成器

    在JavaScript环境下,由于原生不支持Cron表达式,开发者通常需要借助于第三方库或工具来实现类似的功能。Quartz Cron JS生成器就是这样一种工具,它允许开发者在HTML页面中直接嵌入生成的代码,以便在前端实现复杂的...

    前端开源库-node-cron

    在实际应用中,`node-cron` 可以结合其他前端框架或库一起使用,例如Express.js、React或Vue.js,实现后台定时任务与前端交互的功能。 `node-cron-master` 压缩包文件名暗示了这是`node-cron`的源码仓库。如果你...

    vue3+ElementPlus cron组件

    Vue3 + ElementPlus Cron 组件是前端开发中的一个强大工具,它允许开发者在Web应用中实现复杂的定时任务调度功能。这个组件基于Vue3框架,并利用了ElementPlus UI库的组件和设计风格,为用户提供了友好的界面和丰富...

    Cron生成表达式html源码

    4. 预览功能:显示Cron表达式所对应的下次执行时间,以及周期性的执行时间序列,帮助用户验证表达式的正确性。 5. 编辑器:可能包含上下文敏感的帮助提示和示例,帮助用户理解Cron表达式的语法和各个字段的意义。 ...

    layui第三方组件cron的使用

    layui是一款流行的前端UI框架,它提供了丰富的组件和模块...通过以上步骤,你可以在layui项目中成功集成并使用cron第三方组件,实现灵活的定时任务配置。记得在实际项目中根据需求进行调整,确保组件能够满足业务场景。

    C# Cron表达式解析 .net

    C# Cron表达式解析在.NET开发中是一种常见且重要的任务,尤其在自动化任务调度和计划程序的场景下。Cron表达式源于Unix操作系统,用于定义周期性任务的执行时间。在C#中,通过理解并解析Cron表达式,开发者可以创建...

    Cron表达式选择器JS插件

    4. **交互功能**:插件会自动创建一个下拉选择器,用户可以通过它来选择Cron表达式。选择的值会被自动填充回输入框。 5. **示例代码**:`cron_expression_selector`文件夹中的`demo.html`是一个示例文件,展示了如何...

    vixie-cron-4.1.rar_centos-s002_crontab source code_vixie-cron_vi

    《vixie-cron-4.1:CentOS下的crontab定时任务源代码...通过对源代码的学习,我们可以更深入地理解其工作原理,更好地利用它来管理和维护系统的自动化任务。同时,了解其内在的安全机制也有助于提高系统的整体安全性。

Global site tag (gtag.js) - Google Analytics