昨天接入新浪微博测试的时候,一直报错
109 WARN [2013-01-24 10:12:14] Required proxy credentials not available for BASIC <any realm>@172.16.1.XXX
109 WARN [2013-01-24 10:12:14] Preemptive authentication requested but no default proxy credentials available
109 WARN [2013-01-24 10:12:14] Required credentials not available for BASIC <any realm>@api.weibo.com:443
109 WARN [2013-01-24 10:12:14] Preemptive authentication requested but no default credentials available
9437 INFO [2013-01-24 10:12:23] I/O exception (javax.net.ssl.SSLException) caught when processing request: Unrecognized SSL message, plaintext connection?
9437 INFO [2013-01-24 10:12:23] Retrying request
解决方法:
// Protocol myhttps = new Protocol("https", new MySSLSocketFactory(), 443);
// Protocol.registerProtocol("https", myhttps);
将这两行代码注释,即能正常访问,这两行代码是否会引起其它的错误暂未知。
分享到:
相关推荐
- **异常处理**:考虑到网络不稳定、服务器错误等情况,需要编写异常处理代码,如重试策略、超时处理等。 - **反爬策略**:新浪可能有反爬措施,如限制IP访问频率,需要合理设计请求间隔或使用代理IP。 ### 6. ...
通过以上步骤,我们可以构建一个基本的新浪微博爬虫。当然,实际的项目可能需要根据具体需求进行调整,例如抓取特定用户的微博、实时监控新发布的微博等。在不断迭代和完善中,这个爬虫将变得更加智能和强大。请记住...
`AMicroblogAPIDemo-Web` 可能是一个Web服务端项目,用于模拟或者代理与新浪微博API的交互。这可能是为了处理认证、数据转换或其他与服务器通信相关的问题。 `AMicroBlogClient` 应该是我们的主要关注点,这是WPF...
"新浪微博爬虫"是针对这一平台开发的工具,用于自动化抓取并分析微博上的公开信息。下面将详细探讨如何实现一个新浪微博爬虫,涉及的主要知识点包括登录机制、Python编程、网络请求库的使用以及数据解析。 1. **...
本项目"新浪微博爬虫"专注于从新浪微博这一社交媒体平台获取特定类型的信息,包括用户资料、关注对象、粉丝列表以及超级话题相关的用户和粉丝信息。这个爬虫是基于Python开发的,利用了Python强大的Web爬虫库,如...
在本项目"基于Java的新浪微博爬虫研究与实现"中,我们将探讨如何使用Java语言构建一个功能完善的微博数据抓取工具。爬虫是网络数据挖掘的重要手段,它能自动化地从互联网上搜集信息,对于社交媒体分析、市场研究、...
这暗示我们将深入学习如何通过网络爬虫技术获取社交媒体平台上的动态信息,特别是对于新浪微博这个大型的中文社交网络。 【标签解析】 "Java"标签表明我们将使用Java作为实现WebCrawler的主要编程语言。Java因其跨...
// 如果需要代理,设置代理服务器 HttpHost proxy = new HttpHost("proxy.wdf.sap.corp", 8080); httpclient.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY, proxy); HttpResponse response = ...
新浪微博是中国最大的社交媒体平台之一,其API接口对数据访问有严格的限制,尤其是非官方的爬虫可能需要处理反爬策略,如验证码、IP封锁和动态加载内容等。 关于微博爬虫的知识点: 1. **HTTP/HTTPS 请求**:爬虫...
新浪的反爬虫机制通常包括但不限于:IP限制(对同一IP频繁访问进行封锁)、User-Agent检测(识别非正常浏览器的请求)、验证码或登录验证(对高频访问用户进行身份验证)、滑动验证等。SinaSpider通过以下方式应对...