package com.xingcai;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Timer;
import java.util.TimerTask;
运用定时器,不停的发送请求抓取数据
public class GetYinInfo extends TimerTask {
private void getCOMEXInfo() throws IOException{
String res = "";
SimpleDateFormat dateformat=new SimpleDateFormat("HH:mm:ss");
String df=dateformat.format(new Date());
URL url = new URL("https://www.baidu.com/");
java.net.HttpURLConnection conn = (java.net.HttpURLConnection) url.openConnection();
conn.connect();
BufferedReader bf = new BufferedReader(new InputStreamReader(
conn.getInputStream(), "GBK"));
String line;
while ((line = bf.readLine()) != null) {
res += line;
}
String AGTD[]=res.split(",");
String re[]=AGTD[0].split("");
System.out.println("COMEX "+df+":"+re[1]);
bf.close();
}
private void getTDInfo() throws IOException{
String res = "";
SimpleDateFormat dateformat=new SimpleDateFormat("HH:mm:ss");
String df=dateformat.format(new Date());
URL url = new URL("https://www.baidu.com/");
java.net.HttpURLConnection conn = (java.net.HttpURLConnection) url.openConnection();
conn.connect();
BufferedReader bf = new BufferedReader(new InputStreamReader(
conn.getInputStream(), "GBK"));
String line;
while ((line = bf.readLine()) != null) {
res += line;
}
String AGTD[]=res.split(",");
String re[]=AGTD[0].split("");
System.out.println("AG "+df+":"+re[1]);
bf.close();
}
@Override
public void run() {
try {
getCOMEXInfo();
getTDInfo();
System.out.println("---------------------------------------------");
} catch (IOException e) {
e.printStackTrace();
}
}
/**
* @param args
*/
public static void main(String[] args) {
Timer timer = new Timer();
TimerTask t1 = new GetYinInfo();
// 1000毫秒后,每隔1000毫秒运行一次t1任务
timer.schedule(t1, 1000, 5000);
/*
* try { Thread.sleep(10000); } catch (InterruptedException e) {
* e.printStackTrace(); } timer.cancel();
*/
}
}
相关推荐
在IT行业中,网页抓取是一项基础且重要的技能,它允许我们自动地从互联网上获取大量信息,进行数据分析、搜索引擎优化、市场研究等用途。在这个Java实现网页抓取的项目中,我们将探讨如何利用Java编程语言来抓取网页...
9. **合规性与道德问题**: 在进行网页抓取时,务必遵守网站的robots.txt协议,尊重网站的版权,避免抓取敏感或非法信息。 总结起来,构建一个ASP.NET网页爬虫涉及了HTTP请求、HTML解析、定时任务、异常处理等多个...
4. **定时任务实现**:为了保证信息的实时性,我们需要设置定时器(`Timer`组件)来定期执行抓取任务。在C#中,可以使用`System.Timers.Timer`类,设定间隔时间后,当`Elapsed`事件触发时,调用抓取和解析函数。 5....
定时器会定期执行指定的方法,检查爬虫是否能成功抓取数据。如果不能,那么可能意味着目标网站的结构发生了变化,需要更新正则表达式或其他解析逻辑。 项目文件“HQ.Spider”很可能包含了整个爬虫项目的源代码,...
在编程领域,这通常通过定时器或调度库来实现,例如Python的APScheduler,Java的Quartz Scheduler,或是Node.js的cron等。这些工具可以设置周期性任务,比如每小时、每天或每周执行一次,或者按照更复杂的触发规则...
网页抓取是通过自动化方式从网站获取数据的过程。在这个特定的例子中,我们的目标是从中国银行的网站获取外汇牌价。这通常涉及到使用HTTP或HTTPS协议发送请求到指定的网页URL,并接收返回的HTML页面内容。 C#中,...
2. **自动化调度**:可能使用了计划任务(如Windows Task Scheduler)或定时器组件来定期执行抓取任务。 3. **数据库操作**:可能使用ADO.NET或其他数据库访问组件与数据库进行交互,存储抓取到的数据。 4. **错误...
3. 定时编程:在程序内部实现定时功能,例如使用C++的`std::chrono`库设定定时器。 四、文件操作 HTML定时抓取程序需要将抓取到的网页内容保存为.htm文件,这就涉及到了文件操作。在C++中,可以使用标准库中的`...
- 数据抓取:获取网页数据用于分析或存储。 - 页面操作:如点击按钮、填写表单等。 #### 二、VB代码实现点击网页上的按钮 - **基础逻辑**:遍历`WebBrowser`文档对象模型(DOM),查找特定类型的元素,并触发点击...
网页抓取工具是一种用于自动化收集互联网上公开信息的软件或技术。在当今数据驱动的世界,网页抓取成为了获取大量信息的重要手段,尤其对于数据分析、市场研究、竞争对手分析等领域。JavaScript作为网页开发的主要...
网页抓取(Web Scraping)** 网页抓取是从HTML页面中提取所需信息的过程。在C#中,我们可以利用`System.Net`和`System.IO`命名空间的类来实现这一功能。`HttpClient`类用于发送HTTP请求,获取网页内容;`...
3. 数据清洗:从网页抓取的数据往往需要预处理,去除无用字符,统一格式,以便后续分析。 4. 性能优化:当处理大量数据时,要考虑批量处理和多线程技术,提高效率。 总结来说,"动态下载网页内容存入数据库"涉及的...
对于定时任务,可以结合Quartz或Spring Scheduler等框架实现周期性的网页抓取。 例如,`demo`可能是一个简单的Java爬虫程序示例,它可能包括以下几个关键步骤: 1. **初始化配置**:设置起始URL、爬取深度、延迟...
#### 知识点三:定时器在数据抓取中的应用 代码中提到了`System.Timers.Timer`的使用,这意味着开发者可能设计了一个定时执行的抓取程序,即在特定的时间间隔内自动执行数据抓取任务。这对于定期更新数据、监测趋势...
**二、使用Jsoup实现网页抓取** 下面是一个简单的示例,演示如何使用Jsoup抓取指定网页上的特定元素。 首先,确保将Jsoup的jar包添加到项目的类路径中。如果是Web应用,可以将其放入WEB-INF/lib目录下。 ```java ...
这个项目的核心在于利用网络技术与数据解析技术,将互联网上的天气预报数据抓取下来,并在用户界面上进行展示。下面我们将深入探讨易语言和实现天气预报功能的相关知识点。 1. **易语言**: 易语言是一种中国本土...
这个组合利用了Spring Boot的自动化配置、JPA(Java Persistence API)的数据持久化能力,以及WebMagic的网页抓取功能。下面将详细介绍这三个关键技术及其在实际应用中的作用。 首先,Spring Boot是Spring框架的一...
在VB(Visual Basic)编程环境中,读取网页内容是一项常见的任务,这主要涉及到网络编程和数据抓取。本文将深入探讨如何使用VB来实现这一功能,以及相关的关键知识点。 首先,VB提供了多种方法来获取网页内容,其中...
- **网页抓取**:可能使用了正则表达式或HTML解析库(如BeautifulSoup)来提取网页关键信息。 3. 敏感词过滤: - **敏感词库**:项目中可能包含一个敏感词列表,用于比对网页内容,识别敏感信息。 - **字符串...