package test.ip; import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; import java.io.Reader; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import com.ibatis.common.resources.Resources; import com.ibatis.sqlmap.client.SqlMapClient; import com.ibatis.sqlmap.client.SqlMapClientBuilder; public class TestIP { // DROP TABLE IF EXISTS `ip`; // CREATE TABLE `ip` ( // `id` int(11) NOT NULL AUTO_INCREMENT, // `startIP` varchar(50) DEFAULT NULL, // `endIP` varchar(50) DEFAULT NULL, // `country` varchar(100) DEFAULT NULL, // `local` varchar(100) DEFAULT NULL, // PRIMARY KEY (`id`) // ) ENGINE=MyISAM DEFAULT CHARSET=gbk; public static void main(String[] args) throws Exception{ try{ //从配置文件中得到SqlMapClient对象 Reader reader2 = Resources.getResourceAsReader("sqlMapConf.xml"); SqlMapClient sqlMapper = SqlMapClientBuilder.buildSqlMapClient(reader2); reader2.close(); //IPData1.txt 需要是utf8转存一下,另外将文件里面的tab键转成空格 BufferedReader reader = new BufferedReader(new FileReader("F:/IPData1.txt")); boolean flag = true; List res = new ArrayList(); while(flag){ String lineStr = reader.readLine(); if(lineStr!= null &&!lineStr.isEmpty()){ String str[] = lineStr.split(" "); Map lineRes = new HashMap(); if(str.length > 0){ lineRes.put("startIP", str[0]); } if(str.length > 1){ lineRes.put("endIP", str[1]); } if(str.length > 2){ lineRes.put("country", str[2]); } if(str.length > 3){ lineRes.put("local", str[3]); } ip users = (ip) sqlMapper.insert("ipSql.add", lineRes); }else{ flag = false; System.out.println("停止了"); } } }catch (Exception e) { System.out.println(e); } } }
相关推荐
代理ip池(自动采集ip地址 从网站获取ip地址,检测是否可用,并实时更新,存入数据库中)
- 将读取到的IP范围对象存入一个`ArrayList<IPRange>`或`TreeSet<IPRange>`,便于后续查询。 7. **实际应用**: - 在实际应用中,可能需要将整个数据库加载到内存,以提高查询速度,这需要考虑内存使用情况。 - ...
5. **数据库操作**:将抓取到的代理IP存入数据库,如MySQL、MongoDB等。这涉及到JDBC(Java Database Connectivity)或者NoSQL驱动的使用,以及SQL语句的编写,用于插入、更新和查询数据。 6. **异常处理**:在网络...
为了将数据存入SQL Server,你需要使用ADO.NET库,例如SqlConnection、SqlCommand等类。首先,确保数据库设计与提供的图片相符,创建对应的表和字段。假设你有一个名为`DataRecords`的表,包含`DeviceID`和`Values`...
这是一个TCP/IP的程序,通过ONRECEIVE接收客户端连接,接收数据进行显示,并且能够显示到界面上,把符合条件的数据保存到SQLSERVER数据库中。其中,还有LISTBOX的横向滚动条的显示的内容,每次接收的内容滚动到控件...
在给定的标题和描述中,我们关注的核心知识点是ASP如何实现与SQL和ACCESS数据库的交互,以及如何处理和存储登录用户的IP地址、登录时间、在线人数、流量和当日流量等信息。 首先,要实现SQL和ACCESS数据库的读取,...
在IT领域,动态下载网页内容...总结来说,"动态下载网页内容存入数据库"涉及的技术包括HTTP通信、HTML解析、定时任务、数据库操作以及数据处理等多个方面。通过合理利用这些技术,可以构建出高效、稳定的信息抓取系统。
本项目提供了一个专门针对某医药网站的医药数据采集源码,它包括了将抓取的数据保存为CSV文件以及存入数据库的功能。下面将详细解析这个项目的知识点。 首先,我们要关注的是“医药数据爬虫”。数据爬虫是通过自动...
通过以上步骤,我们可以成功地使用Python的Scrapy框架从安居客网站爬取房价信息,将其存入数据库,并以可视化的方式展示数据分析结果。这个项目既涵盖了Web爬虫的基本流程,也涉及到了数据库管理和数据可视化,对于...
QQWry.DatIP数据库是网络上广泛使用的IP地址数据库,它包含了全球众多IP地址的地理定位信息。这个数据库主要用于帮助系统快速识别和定位互联网用户的地理位置。2011年发布的IPData 2011最新版IP库,是当时最新的IP...
抓取到的商品信息需要存入数据库。常见的数据库选择有MySQL、MongoDB等。这里假设使用了关系型数据库MySQL,我们需要创建对应的表结构,包含商品ID、名称、价格、评价等字段。Java的JDBC(Java Database ...
### 如何将IP表存入SQL数据库:ASP与SQL Server结合使用 在互联网技术领域,存储和管理IP地址是一项常见的需求。特别是在网络安全、数据分析等领域,有效地处理和利用IP地址数据至关重要。本文将详细介绍如何通过...
这个名为"Python-Python爬虫小脚本爬搜狐新闻列表存入数据库爬新闻新闻采集"的项目,旨在教授如何利用Python编写简单的爬虫脚本,从搜狐新闻网站抓取新闻列表,并将这些数据存储到数据库中。以下是对这个项目涉及...
大家应该都有所体会,对于字符串型的IP存入数据库中,实在是个即浪费空间又浪费性能的家伙,所以可爱的人们想出来将IP转换为整型存储。MySQL中存在INET_ATON() 、INET_NTOA()函数进行IP整型和字符串之间的转换,那么...
然后,数据被存入SQL Server数据库。在.NET框架下,我们可以使用ADO.NET库来实现这一功能。ADO.NET提供了DataSet、DataTable、SqlCommand等对象,方便我们与SQL Server进行交互。首先,我们需要建立数据库连接(通过...
在IT行业中,网站数据采集和存入数据库是常见的任务,特别是在数据分析、市场研究以及信息监控等领域。"易语言-网站数据采集并存入数据库"这个主题涵盖了两个主要的知识点:一是利用编程语言(如易语言)进行网页...
7. **数据插入与事务处理**:在将数据存入数据库时,可能需要使用事务进行批量插入,确保数据的一致性。同时,为了避免因网络问题导致的失败,应使用try-except语句捕获异常,并进行重试机制。 8. **进程间通信**:...
6. **数据存储**:将接收到的数据存入Access数据库,可能需要编写SQL INSERT语句,将数据插入到合适的表和字段中。为确保数据的一致性,可能需要在数据库层面使用事务处理,尤其是在并发环境下。 7. **异常处理**:...
数据存入MySQL数据库是另一个关键步骤。Python有多种方式连接MySQL,如pymysql和mysql-connector-python。我们需要先创建对应的数据库表结构,设计字段如id(主键)、novel_name(小说名)、author(作者)、chapter...