`
soongbo
  • 浏览: 88957 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

操作抓取网络资源

    博客分类:
  • Java
阅读更多
  在实际开发过程中,大家难免遇到抓取网络资源的操作,列如:抓取相册图片,获得网络的MP3,或者是Flash等资源。下边就写了一个读取网络资源的事列:
private boolean upload(String srcUrl, String fileName, int fileSize) {
		URL url = null;
		FileOutputStream fos = null;
		BufferedInputStream bis = null;
		HttpURLConnection httpUrl = null;
		try {
			byte[] buf = new byte[BUFFER_SIZE];
			url = new URL(srcUrl);
			httpUrl = (HttpURLConnection) url.openConnection();
			httpUrl.setDoOutput(true);
			httpUrl.setRequestMethod("GET");
			httpUrl.setConnectTimeout(30 * 1000);//set ms in unit
			httpUrl.setReadTimeout(30 * 1000); 
			if (httpUrl.getContentLength() > fileSize * 1024) {
				logger.error("upload file gt file's size!");
				return false;
			}
			bis = new BufferedInputStream(httpUrl.getInputStream());
			File file = new File(fileName);
			if (!file.getParentFile().exists()) {
				file.getParentFile().mkdirs();
			}
			fos = new FileOutputStream(fileName);
			
			int size = 0;
			while ((size = bis.read(buf)) != -1) {
				fos.write(buf, 0, size);
			}
			
			fos.flush();
			httpUrl.disconnect();
		} catch (Exception e) {
			logger.error(e.getMessage(), e);
			return false;
		} finally {
			if (null != fos) {
				try {
					fos.close();
				} catch (IOException e) {
					logger.error(e.getMessage(), e);
				}
			}
			
			if (null != bis) {
				try {
					bis.close();
				} catch (IOException e) {
					logger.error(e.getMessage(), e);
				}
			}
			
			if (null != httpUrl) {
				httpUrl.disconnect();
			}
		}
		return true;
	}
分享到:
评论

相关推荐

    网络编程抓取网络资源信息

    本篇文章将深入探讨如何利用网络编程技术抓取网络资源信息,将其转化为自己的网站资源。 首先,我们要理解网络编程的核心概念。网络编程涉及到TCP/IP协议栈,包括应用层、传输层、网络层和数据链路层等,其中HTTP...

    C#版本的网络爬虫,抓取网络资源

    【C#网络爬虫:抓取网络资源】 网络爬虫是一种自动遍历互联网并抓取网页内容的程序,常用于数据分析、搜索引擎索引、市场研究等领域。C#作为一款强大的编程语言,同样可以构建高效的网络爬虫。在这个项目中,我们将...

    网络资源下载器

    总的来说,网络资源下载器是一个集成了网络通信、多线程、文件操作、链接解析和安全防护等多方面技术的软件项目。通过不断优化和扩展,它可以成为一个功能强大且用户友好的下载工具。对于想要挑战这一领域的开发者来...

    实例:获取网络资源(整个项目)

    在IT行业中,网络资源的获取是一项基础且重要的任务,它涉及到网页抓取、图片下载、文件传输等多个领域。本实例的标题"实例:获取网络资源(整个项目)"旨在教授如何利用编程技术来实现这些功能。下面将详细介绍相关...

    网络游戏-对网络资源进行抓取及更新消息推送的方法及系统.zip

    在实际操作中,网络资源抓取可能涉及多源异构数据的整合,这需要数据清洗和预处理步骤,以便于后续分析和应用。同时,更新消息推送要考虑用户的活跃时段、设备状态等因素,以提高消息的打开率和用户满意度。此外,...

    PHP中使用cURL操作网络资源

    PHP中使用cURL操作网络资源 一、 开发环境 1、环境搭建:Windows 7+Apache 2.4.18+MySQL 5.7.11+PHP 7.1.0。 2、文本编辑器:Sublime 3。 二、主要技术 本案例主要使用PHP 7中的数据传输神器cURL来抓取网络资源、...

    PHP中使用cURL操作网络资源1

    在本文中,我们将深入探讨如何在PHP 7环境中利用cURL操作网络资源,包括网页抓取、调用WebService接口以及访问HTTPS资源。 一、开发环境 为了进行PHP与cURL的实践,我们需要搭建一个基础的开发环境。在这个案例中,...

    java实现网络抓包

    在实际操作中,一个简单的Java网络抓包程序可能包括以下步骤: 1. 使用Jpcap或其他类似库打开网络接口并设置过滤器,指定只抓取特定类型的包(如HTTP)。 2. 监听网络数据包,对每个捕获的数据包进行解码和分析。 3....

    网络数据抓包工具 V0.8

    在信息化时代,网络数据的抓取和分析已经成为网络运维、网络安全以及软件开发等领域不可或缺的技能之一。网络数据抓包工具,如标题所言的"网络数据抓包工具V0.8",就是这样的一个实用工具,它能帮助我们深入了解网络...

    VB6.0 OCX 网络数据抓包 API

    用户可以参考这些资源来学习如何在自己的项目中使用类似的方法进行网络数据抓包。 总的来说,VB6.0 OCX网络数据抓包API是通过调用底层API实现网络接口的直接访问,从而捕获并解析多种协议的数据包,为网络分析和...

    MFC写的网络抓包软件

    3. **性能评估**:分析网络带宽使用情况,优化网络资源分配。 4. **协议验证**:开发或调试网络应用时,检查协议实现的正确性。 5. **教育与研究**:教学网络原理和实践,或进行网络相关的学术研究。 总之,...

    网络抓包snmp数据包

    SNMP(Simple Network Management Protocol,简单网络管理协议)是一种广泛应用于网络设备管理的标准协议,它允许网络管理员远程监控...对于初学者来说,这是一个很好的实践和学习资源,有助于深入理解网络通信的细节。

    C#版小偷工具 网上资源自动抓取并插入数据库源码

    在实现网络资源抓取和数据库操作的过程中,可能会用到单例模式(数据库连接)、策略模式(不同的抓取策略)等。 9. **异常处理**: 在处理网络请求和数据库操作时,可能会遇到各种异常,如网络连接错误、数据库操作...

    科来网络分析网络抓包工具

    "科来网络分析网络抓包工具"是一款专用于网络诊断和数据包捕获的专业软件,广泛应用于网络管理员、安全专家以及IT技术爱好者之中。这款工具能够实时监控网络流量,捕捉并解析网络数据包,帮助用户深入理解网络行为,...

    抓取图片(网络爬虫)

    在IT行业中,网络爬虫是一种自动化程序,用于从互联网上抓取大量数据,其中包括图片。在本场景下,我们关注的是“抓取图片”的技术,它对于数据分析、图像处理、内容聚合等领域都至关重要。网络爬虫可以理解为一种在...

    网页资源-抓取小工具

    网页资源抓取小工具是一款基于C#编程语言开发的应用,主要功能是抓取网页上的信息。这款工具的独特之处在于它附带了源代码,这意味着用户可以根据自己的需求进行修改和扩展,增加新的功能,以适应更加复杂的网页抓取...

    如何捕括网络资源?

    在互联网世界中,获取网络资源是一项基础且重要的技能。本教程将主要讲解如何捕获网页中的视频,以此为切入点,介绍网络资源捕获的基本方法。这些技术不仅适用于视频,还能应用于图片、文本、音频等各类在线内容。 ...

    Python-游戏协议数据抓取解析工具

    总结起来,这个“Python-游戏协议数据抓取解析工具”结合了wxWidgets的GUI界面设计,pywin32的进程管理功能,以及WinPcap的强大网络抓包能力,为游戏数据的分析和研究提供了强大的工具。通过学习和理解这个工具的...

    酷6抓包 网页资源探测器

    【酷6抓包 网页资源探测器】是一款针对网页资源进行监控和获取的工具,尤其在网吧环境中,它能有效地帮助用户抓取并下载网络上的电影资源。这款工具的核心功能是网络封包捕获,它的工作原理是监听网络接口上的数据...

    C# 抓取TCP UDP网络数据包.zip

    本资源"**C# 抓取TCP UDP网络数据包.zip**"包含了一个C#实现的数据包捕获工具,并且已经过亲测,确保了其实用性。这里我们将深入探讨如何使用C#进行TCP和UDP数据包的抓取,以及涉及到的相关知识点。 首先,我们需要...

Global site tag (gtag.js) - Google Analytics