`

公交线路抓取程序 好久没写程序了~

阅读更多

公交线路抓取程序是以前在公司没事做时,自己买了部mb525(android手机,现手机不是我的了)时,想试下自己开发软件,又想到广州公交太多,在外面时手机查公交线路只能通过上网查,自己又不想浪费手机流量,就打算开发一个公交线路查询软件,在开发这软件就得先抓取公交线路数据。所以写了这程序,但原公司的程序没带走,现在重新写过,由于有段时间没写程序了,自己水平一般,程序质量不高,还请大家多提意见

 

程序的结构大概是:Main程序运行,定义了四个接口:

 IdbUtil:负责数据的写入,我提供两种写入,Mysql数据库和txt文件,实现类分别是:DbUtilQueryRunner和DbUtilFileWriter

 IHtmlCleanerUtil:网页内容信息解析接口,实现类:HtmlCleanerUtil

 IHttpClientUtil:网页下载接口,实现类:HttpClientUtil

 IUrlGenerator:url制造器,实现类:UrlGenerator

 

程序的动作流程:generate url,download page,parse page,get info,save info

 产生url,下载网页,解析网页并获取信息,保存信息

 

applicationContext.xml里通过:

        <property name="startLineNum" value="1" />
        <property name="endLineNum" value="100" />
        <property name="area" value="guangzhou" />

可以配置开始和终止线路号码和地区,目前只测试了"guangzhou"和"huizhou"。

 

在res目录里有bus.sql是mysql数据库文件,和guangzhouBus.txt和huizhouBus.txt文件,分别是通过程序抓取的广州和惠州的公交线路txt文件

 

由于单位里的电脑没装ant和ivy,就不生成Jar了

 

分享到:
评论

相关推荐

    8684公交线路名称+返回值示例_公交线路名称_8684_

    在这个场景中,我们关注的是如何从8684网站上抓取特定城市的全部公交线路名称。8684是一个提供全国公交查询服务的网站,它包含了丰富的公共交通信息,如线路、站点、首末班车时间等。下面我们将详细探讨如何实现这一...

    Android 北京公交线路查询(离线).zip

    1. **数据存储**:离线查询意味着应用程序需要在本地存储大量的公交线路数据。这通常通过SQLite数据库实现,SQLite是Android系统内置的关系型数据库,适合存储结构化的数据,如公交线路号、站点、首末班车时间等。 ...

    120个微信小程序源码百度网盘下载

    - 公交线路数据的获取方法; - 实时公交位置更新机制; - 用户定位服务的集成。 6. **电商-拼团倒计时**:结合了电商和社交元素的小程序,支持拼团购物。 - **知识点**: - 拼团业务逻辑的实现; - 倒计时...

    jiaotong.rar_jiaotong_transportation_最优 公交 线路

    公共交通查询系统是现代城市信息化建设中的重要组成部分,它旨在为市民提供高效、便捷的公交线路查询服务,以解决出行中的路线规划问题。本系统聚焦于“最优”和“换乘最少”的需求,力求帮助用户在复杂的公交网络中...

    背景公交查询爬虫

    【背景公交查询爬虫】是一种基于网络数据抓取技术的应用,用于自动收集并处理北京公交线路及换乘信息。在日常生活中,人们常常需要查询公交线路以规划出行,而手动查找往往费时费力。利用这种爬虫程序,我们可以快速...

    爬取北京市公交线路信息

    【爬取北京市公交线路信息】这篇文章是一篇针对初学者的指南,主要讲解如何利用网络爬虫技术抓取北京市公交线路的详细数据。整个教程分为几个关键步骤,包括使用XPath插件进行网页元素定位以及编写Python代码来爬取...

    安卓Android公交线路查询系统app毕业源码案例设计.zip

    "安卓Android公交线路查询系统app毕业源码案例设计"是一个关于安卓平台上的应用程序开发项目,专门用于查询公交线路。这个标题表明这是一个针对Android开发学生的毕业设计项目,目的是让学生掌握如何构建一个实用的...

    Http,Jsoup-网页数据抓取

    类似地,对于茂名公交信息的抓取,开发者可能利用Http请求获取公交线路、时刻表等数据,再通过Jsoup解析这些信息。 **Android抓包** 在这个场景中,可能是为了调试和分析Http请求与响应,开发者使用了像Charles或...

    成都公交查询系统

    【成都公交查询系统】是一个基于C#开发的毕业设计项目,旨在为用户提供便捷的公交线路查询服务。这个系统包含了完整的源代码,并且带有详细的注释,使得其他开发者能够更好地理解和学习项目的实现方式。数据库设计...

    Python爬虫_城市公交、地铁站点和线路数据采集实例含程序源代码.zip

    3. **正则表达式(Regex)**:在某些情况下,可能需要使用正则表达式来匹配和提取特定格式的数据,例如公交线路号、站点名称等。 4. **数据存储**:采集到的数据通常会存储在本地文件(如CSV、JSON)或数据库中。...

    微信小程序部分实例

    这可能是交通查询类小程序,通过调用公共交通API获取公交线路、时刻表等信息,为用户提供出行参考。开发者需要处理地理定位、地图渲染和数据解析等技术问题。 7. **辩论倒计时**: 这种功能适用于比赛或活动计时...

    python公交路线爬取

    在本项目中,我们关注的是“公交路线”服务,它能够获取到指定区域内的公交线路及其相关的经纬度信息。调用高德API时,我们需要一个有效的API密钥,这通常需要在高德开发者平台上注册并申请。 接下来,我们要理解...

    火娃公交采集v1.1

    通过BusGather这个主程序,用户可以自定义设置采集参数,包括但不限于公交线路编号、特定区域的站点等,根据需求定制采集内容。 此外,考虑到数据安全和隐私保护,火娃公交采集V1.1在设计时应当遵循合法合规的原则...

    城市公交,站点及线路爬取

    本项目利用Python进行公交数据的抓取,并将结果保存为CSV文件,这是一种常见的数据存储格式,便于后续的数据分析和可视化。 首先,我们需要了解网络爬虫的基本原理。网络爬虫是一种自动化程序,它遍历互联网上的...

    公交查询源码.zip

    公交数据文件是可读形式,如果你觉的哪条线路不对,你可以把它修改正确,并提交到这里 支持分类存放文件,你可以把不同城市的数据按照省份放入不同目录。   如何获取所在城市数据 本软件自带了8个城市的数据:...

    Android应用源码之BusLineDataSpider2_For_Console_build20090402.zip

    【标题】"Android应用源码之BusLineDataSpider2_For_Console_build20090402.zip" 涉及的是一个Android应用程序的源码,主要关注点在于其数据抓取和处理功能,尤其是公交线路数据的爬取。这个项目的名称...

    人工智能_项目实践_公交信息_汇总了8684.cn网站全国的公交信息

    在本项目中,开发者可能使用了Python的Scrapy框架或者BeautifulSoup库来构建爬虫,抓取8684.cn网站上的公交线路信息。 2. **数据解析与清洗**:抓取到的数据通常包含HTML标签和其他非结构化信息,需要通过解析(如...

    Android 沈阳公交源码.zip

    这个源码提供了如何在Android平台上构建一个实用的公交线路查询软件的参考,让我们深入探讨一下其中涉及的关键知识点。 1. **数据获取与处理**:首先,源码中的数据来源可能是API接口,如沈阳公交网提供的公开数据...

    基于PHP的坐车网爬虫程序 php版.zip

    坐车网通常指的是提供公共交通信息,如公交、地铁线路查询的网站。此程序可能用于收集、分析和处理该网站上的交通路线、时刻表等数据。 【描述】"基于PHP的坐车网爬虫程序 php版.zip"的描述简单明了,暗示着这个...

Global site tag (gtag.js) - Google Analytics