最新文章列表

抓取Js动态生成数据且以滚动页面方式分页的网页

当我们在进行数据抓取的时候,如果目标网站是以Js的方式动态生成数据且以滚动页面的方式进行分页,那么我们该如何抓取呢? 如类似今日头条这样的网站:http://toutiao.com/ 我们可以使用Selenium来搞定这件事情。Selenium的设计目的虽然是用于Web应用程序的自动化测试,但是却非常适合用来做数据抓取,可以非常简单地绕过网站的反爬虫限制,因为Selenium直接运行在浏览器 ...
jsczxy2 评论(0) 有1671人浏览 2015-11-08 23:21

Selenium2(JAVA) Web自动化测试实战 电子书已在百度阅读上架 欢迎试读购买

本书是作者多年的web自动化测试经验的结晶,该教程从入门讲起(真正的手把手教程),到项目实战、框架的搭建以及持续集成测试环境的搭建都有详细讲解。          全书穿插了大量的图片和代码,让你更容易读懂。书中的工具,学习文档,测试框架,对应章节的代码都在网盘中存储,用户可以在书的结尾处找到下载地址。本书会不定时更新内容,测试框架也会不定时更新,不断完善。 书籍阅读地址: http://yue ...
stephenwang1011 评论(0) 有2385人浏览 2015-09-18 22:08

Custom Firefox Profile for Selenium

原文地址: http://www.toolsqa.com/selenium-webdriver/custom-firefox-profile/ What is Profile Firefox saves your personal information such as bookmarks, passwords, and user preferences in a set of files ...
sunjing 评论(0) 有1378人浏览 2015-08-21 15:05

Webdriver Unable to connect to host 127.0.0.1 on port 7055 after 45000 ms

带的小弟遇到这个问题不知所措就找我解决,记录一下。 执行如下代码,chrome和IE都OK,执行火狐就挂了。 #浏览器数组lists = ['chrome','internet explorer','firefox']#循环浏览器执行脚本       for browser in lists:    print browser    driver = Remote(command_execu ...
Chinaperson 评论(0) 有2069人浏览 2015-06-25 11:57

firefox运行时弹出安装向导

问题描述: 使用selenium.webdriver调用firefox运行脚本的时候,打开浏览器时总是弹出安装向导 解决方法: 修改C:\Users\Administrator\AppData\Roaming\Mozilla\Firefox\profiles.ini 文件 修改如下红色部分代码的值为0:        [Profile0]      Name=default      ...
Chinaperson 评论(0) 有879人浏览 2015-06-16 14:52

Unable to start phantomjs with ghostdriver.

plantomjs最初是放在D:\\phantomjs\\bin\\phantomjs.exe 环境变量也添加了,各种尝试都是如下错误: error: selenium.common.exceptions.WebDriverException: Message: Unable to start phantomjs with ghostdriver.Screenshot: available v ...
Chinaperson 评论(0) 有3496人浏览 2015-06-12 16:37

Error forwarding the new session cannot find : Capabilities [{browserName=htmlun

代码: driver = webdriver.Remote(                                          command_executor=' http://127.0.0.1:4444/wd/hub',                                          desired_capabilities={'platform': ' ...
Chinaperson 评论(0) 有3245人浏览 2015-06-12 11:05

selenium webdriver学习(二十二)------------XVFB实现selenium在linux上无界面运行安装篇

           selenium在linux上无界面运行,其实是非常简单的。具体的方法有使用HtmlUnitDriver或者PhantomJSDriver,有时间我会写写关于这两个东东的文章,其实基本和ChromeDriver 和FirefoxDriver是一样的。但是有些人或者会比较排斥他们说HtmlUnitDriver对JS支持不好,PhantomJSDriver估计也很少有人用,其实 ...
qi_ling2005 评论(0) 有13819人浏览 2015-03-12 12:25

网络爬虫技术

搞了大半夜,终于把selenium 驱动Firefox调通。 这是web测试工具,也可用作页面抓取工具,尤其是对网站结构比较复杂,有异步加载的网站尤为合适。 废话少说,上代码, 上代码之前,先说下环境: selenium版本: <dependency>          <groupId>org.seleniumhq.selenium</groupId&g ...
老汉学编程 评论(0) 有555人浏览 2015-02-12 02:22

Study:基于Selenium进行Android客户端自动化测试的例子。

注意:此处省略ADB和Node.js的配置。   代码示例: package com.hisky.seleniumTest; import java.io.BufferedReader; import java.io.File; import java.io.IOException; import java.io.InputStreamReader; import java. ...
hiskyrisa 评论(1) 有5872人浏览 2014-12-12 10:50

Study:基于Selenium进行firefox自动化测试的例子。

Maven配置: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 ...
hiskyrisa 评论(0) 有1421人浏览 2014-12-12 10:39

Selenium webdriver 之select 控件封装,解决onchange问题

使用webdriver的时候,select 控件经常会绑定onchange 事件,在selenium2.09 之前click 方法对onchange 事件有bug,2.09 以后修复了,但是根据经验也遇到用selenium ui 下面的select的类去做select 操作,有时也可能不发触发onchange 事件,所以本人测试放弃不用,自己封装了几个好用的方法,在此分享,部分只要实现代码如下: ...
kootest 评论(0) 有2182人浏览 2014-11-12 22:25

PhantomJSDriver怎么设置在console里不输出运行信息

每次运行PhantomJSDriver都输出一堆的INFO、SEVERE信息,红红的一坨,感觉就像大姨妈,很不爽。所以问题来了,怎么去掉呢? 试了如下办法: 马上想到的是设置log的level 方法一:   PhantomJSDriver driver = new PhantomJSDriver(caps); driver.setLogLevel(Level.SEVERE); ...
qi_ling2005 评论(3) 有2354人浏览 2014-11-10 15:50

使用selenium webdriver获取网页的title

在使用新版本的selenium时,当开发人员想获取页面title,应该使用WebDriver自身提供的getTitle()方法获取: String pageTitle=driver.getTitle();  而采用旧版本的获取页面title元素,然后获取该title元素的文本是无法获取的。 String pageTitle=driver.findElement(By.tagName(&quo ...
L.x 评论(0) 有7825人浏览 2014-08-26 18:59

关于selenium的CSS

经过将近两年半自动化的经验(两年selenium相关经验)对于selenium对元素的定位,常用的几种ID,CLASS之类的没必要说了在这里,对于一些不规范的前端代码 我想我最喜欢用的事CSS定位。 优势1:一般情况下定位速度要比XPATH快 优势2:语法要比XPATH更简洁更易懂 优势3:对于页面结构的变化对其影响并不像XPATH那么大 当然还有很多因素是我的个人喜好 下面列出一些常用 ...
sunny_kaige 评论(0) 有1270人浏览 2014-08-14 13:40

关于selenium的等待时间的问题

   我们一般自动化的时候等待时间和超时可能会成为case挂掉的罪魁祸首,那么下面这两种等待设置可以解决这些问题: Wait commands in WebDriver Listing out the different WebDriver Wait statements that can be useful for an effective scripting and can avoid ...
sunny_kaige 评论(0) 有2837人浏览 2014-08-14 09:31

Selenium2.0安装和简单使用

这边以下载JAVA语言的Selenium2.0为例 一、下载Selenium2.0软件 下载地址:http://docs.seleniumhq.org/download/    由于天朝原因可能会访问不了,需要用代理。按语言分为JAVA,C#,Rubby,Python,JavaScript这几种版本,我们这边下载JAVA版。当前最新版本是2.42.2   二、下载后解压 下载后解压se ...
smallerpig 评论(0) 有1131人浏览 2014-07-30 22:54

selenium的使用

Selenium 是 thoughtworks公司的一个集成测试的强大工具。最近参与了一个系统移植的项目,正好用到这个工具, 把一些使用心得分享给大家,希望大家能 ...
qian0021514578 评论(0) 有1007人浏览 2014-07-23 17:55

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics