zhimaruanjian
- 浏览: 32668 次
- 性别:
-
最新评论
文章列表
本篇内容基于 Python3 TensorFlow 1.4 版本。
本节内容
本节通过最简单的示例 —— 平面拟合来说明 TensorFlow 的基本用法。
构造数据
TensorFlow 的引入方式是：
import tensorflow as tf
接下来我们构造一些随机的三维数据，然后用 TensorFlow 找到平面去拟合它，首先我们用 Numpy 生成随机三维点，其中变量 x 代表三维点的 (x, y) 坐标，是一个 2×100 的矩阵，即 100 个 (x, y)，然后变量 y 代表三位点的 z 坐标，我们用 Numpy 来生成这些随机的点：
...
微博登录限制了错误次数···加上Cookie大批账号被封需要从Cookie池中 剔除被封的账号··· 需要使用代理··· 无赖百度了大半天都是特么的啥玩意儿？？？结果换成了 Google手到擒来 分分钟解决（那么问题来了？百度除了卖假药还会干啥？）
Selenium+Chrome认证代理不能通过options处理。只能换个方法使用扩展解决
原文地址：https://stackoverflow.com/questions/29983106/how-can-i-set-proxy-with-authentication-in-selenium-chrome-web-driver-using-p ...
<div class="iteye-blog-content-contain" style="font-size: 14px;">
<p>各位小伙伴儿的采集日常是不是被JavaScript的各种点击事件所折腾？好不容易找到个Selenium+Chrome可以解决问题！</p>
<p>但是另一个▄█▀█●的事实摆在面前，服务器都特么没有GUI啊··</p>
<p>好吧！咱们要知难而上！决不能被这个点小困难打倒·······</p>
<p>然而摆在面前的事实是··· ...
安装Ansible：
看官方文档去：http://www.ansible.com.cn/index.html
好像这个主控端不支持Windows？ 大家虚拟机装个Ubuntu吧。
闲话少扯直接上干货：
整体目录如下：
study@study:~/文档/ansible-examples$ tree Splash_Load_balancing_cluster
Splash_Load_balancing_cluster
├── group_vars
│ └── all
├── roles
│ ├── common
│ │ ├── files
│ │ ...
前言
你是否觉得 XPath 的用法多少有点晦涩难记呢？
你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢？
你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢？
你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢？
嗯，那么，前端大大们的福音来了，PyQuery 来了，乍听名字，你一定联想到了 jQuery，如果你对 jQuery 熟悉，那么 PyQuery 来解析文档就是不二之选！包括我在内！
PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。 ...
安装
pip install lxml
利用 pip 安装即可
XPath语法
XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。
节点关系
（1）父（Parent）
每个元素以及属性都有一个父。
在下面的例子中，book 元素是 title、author、year 以及 price 元素的父：
<book>
<title>Harry Potter< ...
前言
之前我们用了 urllib 库，这个作为入门的工具还是不错的，对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法。
安装
利用 pip 安装
$ pip install requests
或者利用 easy_install
$ easy_install requests
通过以上两种方法均可以完成安装。
引入
首先我们引入一个小例子来感受一下
import requests
r = requests.get('http:/ ...
初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了，不过还有更加强大的工具，爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。
Windows 平台：
我的系统是 Win7，首先，你要有Python，我用的是2.7.7版本 ...
综述
爬虫入门之后，我们有两条路可以走。
一个是继续深入学习，以及关于设计模式的一些知识，强化Python相关知识，自己动手造轮子，继续为自己的爬虫增加分布式，多线程等功能扩展。另一条路便是学习一些优秀的框架 ...
本次为大家带来的是抓取爱问知识人的问题并将问题和答案保存到数据库的方法，涉及的内容包括：
Urllib的用法及异常处理
Beautiful Soup的简单应用
MySQLdb的基础用法
正则表达式的简单应用
环境配置
在这之前，我们需要先配置一下环境，我的Python的版本为2.7，需要额外安装的库有两个，一个是Beautiful Soup，一个是MySQLdb，在这里附上两个库的下载地址，
Beautiful Soup MySQLdb
大家可以下载之后通过如下命令安装
python setup.py install
环境配置好之后，我们便可以开心地撸 ...
本篇目标
1.抓取淘宝MM的姓名，头像，年龄
2.抓取每一个MM的资料简介以及写真图片
3.把每一个MM的写真图片按照文件夹保存到本地
4.熟悉文件保存的过程
1.URL的格式
在这里我们用到的URL是 http://mm.taobao.com/json/request_top_list.htm?page=1，问号前面是基地址，后面的参数page是代表第几页，可以随意更换地址。点击开之后，会发现有一些淘宝MM的简介，并附有超链接链接到个人详情页面。
我们需要抓取本页面的头像地址，MM姓名，MM年龄，MM居住地，以及MM的个人详情页面地址。
2.抓取简要信息
相信大家经过上几次 ...
本篇目标
1.对百度贴吧的任意帖子进行抓取
2.指定是否只抓取楼主发帖内容
3.将抓取到的内容分析并保存到文件
1.URL格式的确定
首先，我们先观察一下百度贴吧的任意一个帖子。
比如：http://tieba.baidu.com/p/3138733512?see_lz=1&pn=1
http:// 代表资源传输使用http协议
tieba.baidu.com 是百度的二级域名，指向百度贴吧的服务器。
/p/3138733512 是服务器某个资源，即这个帖子的地址定位符
see_lz和pn是该URL的两个参数，分别代表了只看楼主和帖子页码，等于 ...
首先，糗事百科大家都听说过吧？糗友们发的搞笑的段子一抓一大把，这次我们尝试一下用爬虫把他们抓取下来。
友情提示
糗事百科在前一段时间进行了改版，导致之前的代码没法用了，会导致无法输出和CPU占用过高的情况，是因为正则表达式没有匹配到的缘故。
现在，博主已经对程序进行了重新修改，代码亲测可用，包括截图和说明，之前一直在忙所以没有及时更新，望大家海涵！
更新时间：2015/8/2
糗事百科又又又又改版了，博主已经没心再去一次次匹配它了，如果大家遇到长时间运行不出结果也不报错的情况，请大家参考最新的评论，热心小伙伴提供的正则来修改下吧～
更新时间：2016/3/27
本 ...
1.了解正则表达式 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
正则表达式是用 ...