李明码农
- 浏览: 76308 次
- 性别:
- 来自: 郑州
-
最新评论
文章列表
在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个 集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经 ...
使用 Chrome 浏览器插件 Web Scraper 可以轻松实现网页数据的爬取，不写代码，鼠标操作，点哪爬哪，还不用考虑爬虫中的登陆、验证码、异步加载等复杂问题。
Web Scraper插件
Web Scraper 官网中的简介：
Web Scraper Extension (Free!)Using our extension you can create a plan (sitemap) how a web site should be traversed and what should be extracted. Using these sitemaps the Web ...
面向对象：曾经使用过SVN的同学。
（因为Git 它 可以说是双重的SVN (本地一个服务器，远程一个服务器)），提交代码要有两次步骤，先提交到本地服务器，再把本地服务器在提交到远程服务器。
所以连SVN的同学都没有使用过就好好使用一下SVN吧。
a1.代码更新。
在SVN中操作，我们要提交已经修改过的代码前，一定会记住。
"先更新，在提交" (不然你的小伙伴的代码就被你全覆盖了，然后你的小伙伴就会躲在公司墙角画圈圈了)
所以在Git里面操作。也是这样的。不过就多了一个步骤，就是 先更新 "远程服务器 --> 本地服务器"，再进行 更新 ...
scrapy data flow（流程图）
Scrapy使用了Twisted作为框架，Twisted有些特殊的地方是它是事件驱动的，并且比较适合异步的代码。对于会阻塞线程的操作包含访问文件、数据库或者Web、产生新的进程并需要处理新进程的输出(如运行shell命令)、执行系统层次操作的代码(如等待系统队列),Twisted提供了允许执行上面的操作但不会阻塞代码执行的方法。
下面的图表显示了Scrapy架构组件，以及运行scrapy时的数据流程，图中红色箭头标出。 我大概翻译了下，具体参考官方文档
Scrapy数据流是由执行的核心引擎(engine)控制，流程是这样的：
Scrapy中的BaseSpider爬虫类只能抓取start_urls中提供的链接，而利用Scrapy提供的crawlSpider类可以很方便的自动解析网页上符合要求的链接，从而达到爬虫自动抓取的功能。
要利用crawSpider和BaseSpider的区别在于crawSpider提供了一组Rule对象列表，这些Rule对象规定了爬虫抓取链接的行为，Rule规定的链接才会被抓取，交给相应的callback函数去处理。
在rules中通过SmglLinkExtractor提取希望获取的链接。
1.下载 Postman Interceptor
2.安装后的postman里面下载Postman Chrome app
3.postman chrome app 谷歌账号可以直接登录
4.点击下面的图片2个黄色按钮
5.在谷歌浏览器登录你要登录的网站 例如：www.baidu.com
6.右边的history 就可以到你刚在谷歌浏览器浏览的url
7.点击url ，就多一个tab标签
8.点击code 选择各种语言
9.可以生成对应的代码，代码生成很简单，但是省的自己来回复制粘贴了
10.也对页面分析的很到位
oracle-长字符串无法修改
- 博客分类：
- oracle
1.长字符串无法修改添加
将数据导出sql数据，查看出来唯一的一条
通过plsql的命令行窗口-在编辑器中添加
set define off;
delete from 表名 where sap_trade_id ='7712017121399917' and trans_ido='2017121337795426';
insert into 表名(字段1，字段2) value(字段数据1，字段数据2);
python之scrapy(二)
- 博客分类：
- python
extract_first("") = extract()[0]
def parse(self, response):
re_selector = response.xpath('//*[@class="entry-header"]/h1/text()').extract_first("")
zan = response.xpath('//*[@id="112376votetotal"]/text()')
shoucang = response. ...
通过workon进入后创建的虚拟环境article_spider
虚拟环境只是用来关联项目的环境的例如，pip加载的一些插件也会直接放入你的虚拟环境中
在e盘创建一个scrapy 项目：
pip install scrapy
window10的环境下可能会报错，因为一个需要安装一个window10的本地环境，需要去
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下载：Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl
根据你的版本来的我的python3.6的 环境下是window10 ...
python虚拟环境搭建
- 博客分类：
- python
在开发Python应用程序的时候，系统安装的Python3只有一个版本：3.4。所有第三方的包都会被pip安装到Python3的site-packages目录下。
如果我们要同时开发多个应用程序，那这些应用程序都会共用一个Python，就是安装在系统的Python 3。如果应用A需要jinja 2.7，而应用B需要jinja 2.6怎么办？
这种情况下，每个应用可能需要各自拥有一套“独立”的Python运行环境。virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。
具体的python环境变量的搭建，大家就baidu吧 具体我就不在这里搭建，搭建完成后window ...
1. 摘要
ReactNative在开发的时候，会遇到很多坑。需要我们根据日志来解决。把解决经过记录下来，方便之后的开发人员来搜索解决办法。
2. 日志
Loading dependency graph, done.
error: bundling: UnableToResolveError: Unable to resolve module `react/lib/ReactDebugCurrentFrame` from `/Users/afunx/Code/reactive/dn/rn_project/node_modules/react-native/Li ...
什么是JWT
Json web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC 7519).该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT的声明一般被用来在身份提供者和服 ...
安装
HTTP抓包
HTTPS抓包
1. Charles安装
官网下载安装Charles:https://www.charlesproxy.com/download/
兄弟用的时候根据你的版本一定要破解 我下载的4.1.4
最新版v4.1.4破解文件下载:链接: https://pan.baidu.com/s/1sl5AeTJ 密码: cp7z
Windows 平台,将下载的charles.jar文件覆盖到安装目录下的lib文件夹下即可完成破解!
Mac 平台,将下载的charles.jar文件右键 Charles.app ...
手机不再身边，准备利用下模拟器调试下代码。输入emulator -avd Nexus_6P_API_O(avd 的名字可以通过命令avdmanager list avd获得），然后出现如下错误：
[140736745632704]:ERROR:./android/qt/qt_setup.cpp:28:Qt library not found at ../emulator/lib64/qt/lib
Could not launch ‘../emulator/qemu/darwin-x86_64/qemu-system-i386‘: No such file or directory
...
RN中解决键盘问题
ios上原生集成IQKeyBoardManager，具体集成方法请另行百度
android上RN会自动上浮页面
–
碰到如下问题
感觉整个人都不好了，react-native-tab-navigator,是一个很常用的第三方库，在android上选择一个TextInput，然后会发现在首次渲染的时候，tab navigator这个组件是没问题的，可是当某些情况下在回到页面，发现 tab navigator浮到键盘上了。ios上没有这个问题。 解决办法： 打开android工程，在AndroidManifest.xml中配置如下：
最后效果如 ...