老汉学编程
- 浏览: 31618 次
- 性别:
- 来自: 上海
-
最新评论
-
老汉学编程：
Shen.Yiyang 写道集群里面你还放class版本不一样 ...
Tomcat集群遇到反序列化出错的问题 -
Shen.Yiyang：
集群里面你还放class版本不一样的东西。。集群的意思不就是相 ...
Tomcat集群遇到反序列化出错的问题
文章列表
环境：centos6.6+selenium maven 2.45.0+41.0.2272.101 (64-bit)
ChromeDriver禁用图片问题，花了几个小时在网上搜索，一直没有找到想要的结果。
搜到到结果大同小异，但是始终没有解决我的问题。
偶然点到了这个网页
https://www.linkedin.com/groups/Store-files-download-in-custom-86204.S.5852920910989795331?qid=f3f6064e-6d3b-4990-9c99-9834d8cf7a8e&trk=groups_guest_most_p ...
目的：使用selenium抓取数据。抓取网页数据可以有多种技术方法(这里只列几种)：1.java httpclient+jsoup（对js基本无支持），类似于wget和jsoup。2.分析对方网站暴露出的接口3.htmlunit4.selenium5.webkit（没有测试过，不过听说chrome内核也是 ...
centos双网卡转发上网
- 博客分类：
- centos6.6
简单的一个配置，mark一下，对iptables不太熟悉，仅作笔记使用！
iptables -F
iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -t nat -A POSTROUTING -O ppp0 -j MASQUERADE
说明：ppp0为实际的上网网卡名称
可以将以上配置放到系统启动项中例如：/etc/rc.loacl中
使用默认frofile，启动firefox 内存600M，几个小时之后彪到一个G。
禁用掉图片，缓存 启动内存200M左右，但是几个小时之后内存彪到600M左右.
目前查到的优化项，正在努力中&尝试中......，
各种尝试如果都不行，目前想到的终极解决方案：爬取一定量的页面之后关闭当前线程对应的firefox窗口，开启新窗口！
profile.setPreference("permissions.default.image", 2);//禁用浏览器缓存profile.setPreference("network.http.use-ca ...
5个浏览器窗口（5个线程），每小时3000个网页，理论上一台4C*8GB的台式机能达到每小时6-8000的网页（除掉带宽/对方防爬和对方服务器性能优越），对难搞的网站抓取性能还是不错的！
搞了大半夜，终于把selenium 驱动Firefox调通。
这是web测试工具，也可用作页面抓取工具，尤其是对网站结构比较复杂，有异步加载的网站尤为合适。
废话少说，上代码，
上代码之前，先说下环境：
selenium版本：
<dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>selenium-java</artifactId> <version>2.44.0</ve ...
2014已经过去，2015已经到来！
我是个不喜欢总结过去的人，现在的日子过好，未来的日子过的更好，足矣！
但是人生到了三十立不立的时间节点，必须要好好想一想 停下来规划一下！
提笔四顾心茫然！！！不知道该说些什么，那就算了吧！
笔记：
iostat -x命令 输出磁盘信息，对检测非常有用！
好脑子不如烂笔头！
mysql支持list hash等类型的分区，但是分区也不是在每个地方放都适用！
分区适用于查询条件依赖引擎创建列效果明显，这样查询只在个别分区中进行；对于查询,不依赖分区创建列，反而会增加时间复杂度。
另外，和isam不同的是，InnoDB不支持对分区指定物理路径（不知道新版mysql能不能指定），这样io也是一个瓶颈。
find命令
find [路径] 模式 模式参数
例: find /usr -name "*.SHIT" [找出/usr目录下或者子目录下以".SHIT"结尾的文件或者文件夹！]
例：find /usr -name "*.SHIT" - type f | wc -l[统计/usr目录或者其子目录下以".SHIT"结尾的文件数量：（注意不是文件夹）]
另外：
shell脚本中如果给变量赋命令执行之后的值需要用``（不是中[‘’]英文['']的引号）引住命令。
错误信息：严重: Manager [/kssc]: Unable to receive message through TCP channeljava.io.InvalidClassException: com.kingstar.project.AbstractUser; local class incompatible: stream classdesc serialVersionUID = 8406738952245021539, local class serialVersionUID = 7630078056280811162 at java.io.ObjectStream ...
--------表的分类
Regular table(heap堆表)
Partitioned table
Index-organized table
Cluster table
--------数据类型
--------创建临时表:没有牵涉到空间分配，在操作时分配
create global temporary table TABLE_NAME as select * from TABLE_NAME;
使用的时候每个用户在自己的默认表空间里分配段存储信息。
--------Types of Undo Segments
system:Used for objects in the system tablespace.
Non-system:Used for objects in other tablespaces:
auto mode:Requires an UNDO tablespace
Manual mode:private & public
deferred:Used when tablespaces are taken offline immediate,temporary or for recovery.
----- ...
--------
A database can be created with a standard block size and up to four nonstandard block size.
--------
system tablespace
Undo tablespace
Temporary Tablespaces
--------Read-Only Tablespaces/Read-Write Tablespaces
alter tablespace TABLESPACE read only;
影响1.Causes a checkpoint
影响2.Data available only for read operations
影响3.Objects can be dropped from tablespace
--------Taking a tablespace offli ...