saiyaren
- 浏览: 228197 次
- 性别:
- 来自: 北京
-
最新评论
-
saiyaren：
husxwy 写道请教一个问题，是否碰见一个请求，nginx认 ...
nginx upstream 容错机制 原创-胡志广 -
husxwy：
请教一个问题，是否碰见一个请求，nginx认为tomcat1失 ...
nginx upstream 容错机制 原创-胡志广 -
ct518lovepwj：
楼主，请教一下，我的nutch集群只有一个节点运行，并且在抓取 ...
nutch集群，威力很大，哈哈！！ -
saiyaren：
songbgi 写道saiyaren 写道saiyaren 写 ...
java web 开发问题总结 1 原创-胡志广 -
songbgi：
saiyaren 写道saiyaren 写道saiyaren ...
java web 开发问题总结 1 原创-胡志广
文章列表
1. Extract函数用法
如：
<?php
/* 假定 $var_array 是 wddx_deserialize 返回的数组*/
$size = “large”;
$var_array = array(”color” => “blue”,
1. 网页快照乱码解决方法
修改nutch\cached.jsp,
将content = new String(bean.getContent(details))
修改为content = new String(bean.getContent(details),"utf-8")
1. Nginx无法启动解决方法
在查看到logs中报了如下错误时：
0.0.0.0:80 failed (10013: An attempt was made to access a socket in a way forbidden by its access permissions)
是因为80端口出现了冲突
1. Shell 读取文件和写文件
for line in $(<top30000.url.utf-8.http_server_front_hphp.txt); do
tmp_port=8080;
for((i=0;i<=7;i++));do
echo ${line/192\.168\.12\.63/192\.168\.12\.63:$tmp_port} >>top30000.url.utf-8.http_server_front_hphp_mul_port.txt;
tmp_port=$[ ...
linux 总结 原创-胡志广
- 博客分类：
- 问题总结
1. ps 监视进程
ps aux
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1 0.0 0.0 10372 696 ? Ss Mar28 0:02 init [3]
root 2 0.0 0.0 0 0 ? S< Mar28 0:00 [migration/0]
root 3 0.0 0.0 0 0 ? ...
1. 0X0
0x0地址是NULL
2. Gdb调试子进程
1.set follow-fork-mode <parent/child>
这条命令可以用于在调试父进程或是子进程的模式之间进行切换。例如在fork
1. Git 克隆代码
git clone git://github.com/facebook/hiphop-php.git
2. Git更新分支
查看服务器上的所有分支
[huzg@slave3 hiphop-php]git branch –r
输出结果：
origin/HEAD -> origin/master
origin/HPHP-2.0
origin/a832f349d8caf0de8c7df671d03c90a5e078fb53
origin/master
查看当前有效分支：
[huzg@slave3 hiphop-php]git b ...
1. 摘要
（1） 结论
详细描述了nginx记录失效节点的6种状态(time out、connect refuse、500、502、503、504，后四项5XX需要配置proxy_next
用nginx进行同一个服务器下多域名的负载均衡配置
Nginx进行http负载均衡的模块是upstream
Upstream可以进行多个配置，这样的话可以灵活的配置站点，但是注意的是upstream后面的名字最好是配置成为域名，因为upstream是进行http访问的，一般的解析没有问题，但是如果是ajax的解析就会通过访问upstream后面的名字来进行访问了，这里要注意。
修改配置文件:conf/nginx.conf
#需要进行负载均衡的站点
#其中server是其中负载均衡的一个节点www.aaa.com
upstream www.aaa.com { ...
接着上篇nutch1.4的部署应用，我们来部署一下solr，solr是对lucene进行了封装的企业级搜索应用，具体的大家可以去搜一下了解，我这里就不做具体阐述了，我来说一下solr的部署吧。
首先，我们去solr的官网中下载solr,nutch1.4中应用的solr是3.4，那么我们去官网中也下载3.4吧
http://www.apache.org/dyn/closer.cgi/lucene/solr/
找到3.4.0下载apache-solr-3.4.0.zip或者apache-solr-3.4.0.tgz都可以，下载完成后，我们解压缩，解压完毕后，我们去解压一个tomcat，我 ...
nutch1.4在2011年的11月26日正式发布了,nutch1.4之后更新了一些内容和一些配置，但是和1.3差别还是不大，但是和1.2之前的差异就比较大了，在nutch1.3之后，索引就用solr来进行生成了，包括查询也是用solr，所以在nutch1.2之前的web搜索服务也就不需要了。
首先我们去nutch的官网下载最新版的nutch1.4
地址为：
http://www.apache.org/dyn/closer.cgi/nutch/
下载apache-nutch-1.4-bin.zip或者apache-nutch-1.4-bin.tar.gz都可以
下载下来 ...
cygwin的网络安装实在是慢，有的还有错误。不得不寻找Cygwin完整本地安装包，找了几个发现有的根本就没速度，不过终于发现一个，特此分享。信息如下：
文件名称: cygwin-release-20061108.iso文件大小: 1.29GB文件类型: 映像文件下载地址: http://inst.eecs.berkeley.edu/~instcd/iso//cygwin-release-20061108.iso
题目很直白，方便被同样问题困扰的孩子们。数据库运行一直很正常，管理平台之前也可以正常登录。这次要建表空间，结果em上不去，页面提示到实例的代理连接失败出现的图上，显示（1）数据库实例，是红色向下的箭头（2）到数据库的实例链接，是红色向下的箭头，并有错误提示：状态 失败详细资料
ORA-28001: the password has expired (DBD ERROR: OCISessionBegin)
（3）监听，绿色向上的箭头如果点启动的话，输入主机密码、sys密码，可以起停数据库。且应用、sqlplus都能连上……不过用net服务的测试连接的话，自己设置的用户名可以连上 ...
nutch网页快照乱码解决方法
- 博客分类：
- nutch
修改nutch\cached.jsp,
将content =
new String(bean.getContent(details))
修改为content
= new String(bean.getContent(details),"utf-8")
在画红框的地方加上UTF-8即可
以下内容参考：http://blog.csdn.net/xiaomage_cn/archive/2010/07/13/5731112.aspx进行总结
如果改为UTF-8后如果为gb2312、gbk等页面将会出现乱码
然后还有一些文章是对Metadata ...
nutch集群，威力很大，哈哈！！
- 博客分类：
- nutch
今天用公司的服务器测试了一把nutch集群很好很强大！
之前也测试过，估计和网络的带宽有关系吧，效果不是很好，今天测试了一下，确实比单机的速度要快很多！
我测试的是用3台虚拟机
每台是8核心cpu 一个6g内存2个4g内存
然后爬的网址是180个，深度4层，开启线程200，完成时间是2个多小时，而且资源占用率也就达到20%
之前用8核心6g内存单机爬取 180个网址，深度4层 开启线程50个，爬取1星期没有爬取完，资源占用cpu全部100%，内存占用800M左右
所以集群的威力还是很大的，这么一看就可以看出来威力了，所以我打算把这3台再拆成6台，让服务器能够把资源利用到最 ...