各位达人:我用php爬虫模拟登陆,在不加headers的时候报405错,加上headers报400错,能否指点下解决思路,万分感谢!!
用的代码如下:
<?php
// 要访问的目标页面
$url = "http://s.weibo.com";
$urls = "https://s.weibo.com";
// 代理服务器
define("PROXY_SERVER", "tcp://t.16yun.cn:31111");
// 隧道身份信息
define("PROXY_USER", "16YUN123");
define("PROXY_PASS", "123456");
$proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);
// 设置 Proxy tunnel
$tunnel = rand(1,10000);
$headers = implode("\r\n", [
"Proxy-Authorization: Basic {$proxyAuth}",
"Proxy-Tunnel: ${tunnel}",
]);
$sniServer = parse_url($urls, PHP_URL_HOST);
$options = [
"http" => [
"proxy" => PROXY_SERVER,
"header" => $headers,
"method" => "GET",
'request_fulluri' => true,
],
'ssl' => array(
'SNI_enabled' => true, // Disable SNI for https over http proxies
'SNI_server_name' => $sniServer
)
];
print($url);
$context = stream_context_create($options);
$result = file_get_contents($url, false, $context);
var_dump($result);
// 访问 HTTPS 页面
print($urls);
$context = stream_context_create($options);
$result = file_get_contents($urls, false, $context);
var_dump($result);
分享到:
相关推荐
php模拟登陆网站代码,此技术是采用CURL技术。普通的网站一般都能登陆成功
PHPcurl模拟登陆教务系统源码,这里以武汉理工大学教务系统为例,可以自己在此基础上研究其他教务系统。
php curl 模块模拟登陆
利用curl实现模拟登陆,可以采集需要登录的页面哦!很实用的一项技术
php模拟登陆开心网脚本 使用curl登陆开心网
本文主要介绍了 PHP 模拟登陆 163 邮箱发邮件及猎取通讯录列表的方法,实例分析了 PHP 使用 curl 模拟登陆 163 邮箱的操作技巧,具有肯定参考借鉴价值。 1. PHP 模拟登陆 163 邮箱的原理 PHP 模拟登陆 163 邮箱的...
【PHP与CURL模拟登录及数据获取】 在Web开发中,有时我们需要模拟用户登录到某个网站,以便自动化处理一些任务或获取受保护的数据。在这个PHP100视频教程88中,我们将深入学习如何利用PHP的cURL库来实现这个功能。...
本文实例讲述了PHP 模拟登陆功能。分享给大家供大家参考,具体如下: 说明:该模拟登陆实例仅适用于没有验证码的模拟登陆实例 该程序基本功能是,模拟登陆高校图书馆网站,并获取读者信息和借书信息。 程序截图: ...
本示例主要是为了演示如何使用 Java 语言模拟 Cookie 登陆,实现自动登陆的功能。 是什么是 Cookie? 在了解 Java 模拟 Cookie 登陆之前,我们需要首先了解什么是 Cookie。Cookie 是一种小型文本文件,用于存储 ...
【PHP实现模拟登陆方正教务系统抓取课表】技术详解 在互联网技术中,模拟登陆是一项常用的功能,尤其在处理与特定平台交互时,如教务管理系统。本篇文章将详细探讨如何使用PHP实现模拟登录方正教务系统,并抓取个人...
使用curl进行模拟登录时,需要把登录成功后服务器返回的cookie保存下来,之后用这个cookie来进行后续的请求,模拟用户登录态。 具体到PHP代码实现,首先需要初始化一个curl会话,并配置其选项。这里的选项包括URL...
1)使用snoopy模拟登陆: 复制代码 代码如下:<?php set_time_limit(0); require “Snoopy.class.php”; $snoopy=new Snoopy(); $snoopy->referer=’https://www.jb51.net/’; $snoopy->agent=”Mozilla/5.0 ...
在IT行业中,PHP是一种广泛使用的服务器端脚本语言,尤其在Web开发领域有着重要的地位。当我们需要从网页抓取内容,而直接访问又有困难时,可以利用PHP模拟浏览器请求网页内容。这一技术常被称为“网页抓取”或...
今天我们将聚焦于“新浪微博2模拟登陆”这一主题,学习如何通过编程方式模拟登录并获取AccessToken,以便进行自动化操作或者数据分析。 首先,我们需要了解什么是模拟登陆。模拟登陆是指通过编程代码来模拟用户在...
在使用Snoopy模拟登录时,首先需要引入Snoopy类,然后设置一些必要的参数,如referrer(来源页面)和user_agent(模拟的浏览器标识)。接下来,定义登录所需的POST变量,如用户名和密码,并指定登录页面的URL。通过`...
在IT行业中,PHP和cURL库常常被用来创建网络爬虫、API接口调用以及其他需要模拟HTTP请求的场景。PHPcurl模拟IP浏览器请求是通过PHP的cURL扩展来实现的,它允许开发者发送HTTP请求,并自定义各种请求头,包括伪装成...
模拟ajax(post)登陆53客服后台,一个输入账号和加密后的密码就可以获取联系的总记录数
curl是一个利用URL语法在...curl使用基本过程:第一步:使用curl_init()进行初始化,第二步:使用curl_setopt()函数进行设置选项,第三步:使用curl_exec($curl)进行执行事务,第四步:curl_close()关闭。
### 模拟登陆网页技巧和关键步骤 在探讨模拟登录技术之前,我们首先需要明确一个概念:模拟登录是指通过程序的方式模拟用户的行为,实现自动化的登录过程。这种技术广泛应用于自动化测试、数据抓取等领域。根据给定...
本案例聚焦于如何使用PHP与curl库来模拟登录过程,其中涉及到RSA加密技术。以下是关于RSA加密、PHP编程以及curl库的详细解释。 RSA(Rivest-Shamir-Adleman)是一种非对称加密算法,由三位科学家命名。它使用一对...