domenic
- 浏览: 23247 次
- 性别:
- 来自: 北京
-
最新评论
-
domenic：
和php无关。
问题已经解决，谢谢大家！
php伪静态是不是非常弱？不支持转向前的地址带“？”参数规则? -
hudepin：
网络爬爬虫Heritrix.org论坛开张了
文章列表
php伪静态是不是非常弱？不支持转向前的地址带“？”参数规则?
例如，这个情况下伪静态规则无论如何写都没办法实现：/misc.php?mod=patch&action=pluginnotice&
amp;inajax=1&ajaxtarget=plugin_notice要转向到我的一个没有意义的废弃的页面 /dumy.php
rewrite开启正常，除了上面这个，我其它的伪静态都没有问题。现在我的核心问题是转向前的地址带“？”的规则php不支持，php伪静态好像不支持
正则逻辑，只支持正则的一个子集！像
...html_123_s_y_345.html ...
网络爬爬虫Heritrix.org论坛开张了,欢迎大家来讨论爬虫问题。爬爬虫H论坛讨论如何利用Heritrix构建特定站点爬虫。Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性。
java 等比例缩略图
- 博客分类：
- 图形处理
网上收了好几篇关于图像缩放的java文章, 都有明显的算法错误，大体思路倒是对的，细节决定成败！都是常规逻辑，根本就不考虑特殊情况，例如超扁等长条图片，明显处理都是错误的，正确的代码如下：
import java.awt.Image;
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.FileOutputStream;
import javax.imageio.ImageIO;
import com.sun.image.codec.jpeg.JPEGCodec;
...
没什么奢求了，把曾经做过的2件事情争取做完美就心满意足了，问题的核心是怎么做成大众易用的产品。
1. 网站竞争力指标分析。核心还是日志分析，可以通过网站的日志或者通过注册后的脚本注入生成日志。
突然发现，淘宝量子那么多人在做，还不是我10年前做的事情，而且做的很好啊，我觉得也没那么神秘，现在大数据可以用hadoop就搞定，分析来分析去还是那些指标而已。看看webtrends吧，技术不是王道，资本运作才是王道。
2. 求职招聘信息的网络爬虫和数据结构化展现，并完成微博推送。
就是网页采集工具，实现从非结构化到结构化数据信息采集并完成“阿里”模式的启发式搜索和展现。这个工作的难度 ...
chmod 777 * -R命令
- 博客分类：
- ubuntu
root 用户下运行，可以设置执行读写权限。
chmod 777 * -R命令
hadoop name node 双机热备
- 博客分类：
- hadoop
参考：http://touch-123.iteye.com/blog/1493594
以前Hadoop版本中，NameNode是HDFS集群的单点故障(single point of failure,SPoF)，SPoF指系统中这个部件失效或停止运转将会导致整个系统不能工作。而这在下面两种情况出现： (1) 意外事件如机器crash，集群直到重启NameNode操作执行后才可用； (2) 计划维修事件，如NameNode上的软硬件升级会导致NameNode一段宕机时间。 HDFS HA提供在一个集群中配置两台冗余NN来解决上述问 ...
雪候鸟<xuqi86@gmail.com> 9:46:08
hadoop只是降低了分布式开发的门槛，只需要调用map reduce接口，就能写一个在一个很大数据集上跑的分布式程序，但它效率并不高，一个进程动辄占几个G。这也是为什么百度自己实现一套hadoop。但它还是可以满足大多数公司处理大数据的需要，我觉得结合业务设计一个好的mr很重要，也很难。
乄信念ヤ(244985220) 9:47:22
pig的mapreduce模式必须将pig部署在hadoop节点上吗？
寒塘草(957261640) 9:49:02
hive也许更适合我，不知道其性能到底能不能达到web交互模式的应 ...
不知道哪天开始了， hadoop nosql开始不停的闯入眼帘，对hadoop充满了好奇与神往，最近有点闲功夫，于是弄了下hadoop, 不弄不知道，一弄吓一跳，不停的折腾worcount, wordcount，终于明白了MR, 原来hadoop差点把我带进沟里去了！！其实我最初的想法不是MR, 而是分布式存储于计算，我更加关心hadoop dfs -copyFromLocal 这样的命令是怎么实现的，我才不关心MR！说的现实点，我更关心的是lucene底层支撑的文件系统怎么通过HDFS来支撑（不是移植lucene,我没那闲工夫来写MR后的lucene）？
hadoop不适合实时性系统，我不知 ...
linux OS的遗憾 缺点明确！
- 博客分类：
- ubuntu
最近弄hadoop,不得不接触linux(ubuntu 11.10), 发现linux有最致命的问题，也许我认为的最致命的问题是linux发烧友津津乐道的东西，可是你要知道，世界上顶级的产品不是靠DIY出来的！那就是linux实在是太自由了，这导致了：
1. 软件安装非常麻烦，甚至要自己去选源码，编译再安装。简单的例子就是ubuntu虚拟机下安装vmware tolls那个费劲啊，和windows无法相提并论。
2. linux操作大多靠命令窗口来实现， 常用的人能记住这些命令，偶尔用用的人烦死了这些命令，不能通过简单的图形化操作来完成，真是麻烦
3. linux系统下的软件安装完后，大多 ...
强行关机或hadoop意外中断会出现这种错误:
not start task tracker because java.io.IOException: Failed to set permissions o
f path: \app\hadoop\tmp\mapred\local\ttprivate to 0700
source name ugi already exists
重新格式化也不行，总是提示 Re-format filesystem in
删除hadoop节点的data临时目录，就是core-site.xml的hadoop.tmp.dir配置的那个系统文件目录, 注意，不是 ...
ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 问题是可能是由于hdfs format失败引起的，format失败的原因可能是用户对/tmp/hadoop的目录的权限不够，可以执行
sudo chown -R user /tmp/hadoop
不输入密码执行sudo命令方法介绍
- 博客分类：
- ubuntu
1. shift进入recovery模式
2. 选中root账号
3. chmod 666 /dev/null
mount -o remount rw /
4. nano /etc/sudoers
修改：
userOrAdmin ALL=(ALL) NOPASSWD: ALL
userOrAdmin是指具体的用户或者组
/etc/sudoers: syntax error near line
sudo: parse error in /etc/sudoers near line 25
sudo: no valid sudoers sources found, quitting
终极解决方案：
1. shift进入recovery模式
2. 选中root账号
3. chmod 666 /dev/null
mount -o remount rw /
4. nano /etc/sudoers
恢复本文件内容并存盘。
# /etc/sudoers
#
# This file MUST be edited w ...
1. 通过硬件 设备管理卸载所以vmware虚拟机网络驱动
2. 菜单：编辑-》编辑虚拟网络-》恢复默认
3. 设置ubuntu虚拟机网络为自定义vmnet0
4. 启动虚拟机，编辑网络配置如下
网卡设置
http://jordy.easymorse.com/?p=158
jdk安装
http://jiessiedyh.javaeye.com/blog/430565 这一篇是关于如何手动安装jdk的blog。
ubuntu server 设置静态IP：
1.设置Address、netmask、getway
sudo gedit /etc/network/interfac ...