szjian
- 浏览: 74358 次
- 性别:
- 来自: 深圳
-
最新评论
-
aqi915：
aqi915 写道可以发下代码么，你的其它类没有呢929228 ...
用MapReduce操作mongodb与hdfs的读写例子 -
aqi915：
可以发下代码么，你的其它类没有呢
用MapReduce操作mongodb与hdfs的读写例子 -
linux_yao：
你好，可以贡献一下你的这个程序么？我是初学Hadoop，正想了 ...
用MapReduce操作mongodb与hdfs的读写例子
文章列表
HADOOP集群安装部署
1 前言
本文档是设想在多台服务器上部署HADOOP的实现过程；
2 创建用户
建议同个集群中的用户和用户组，都是相同的，以便管理和维护。
2.1 生成创建用户的运行角本
为不同服务器创建同样的用户和组，创建脚本的目的是让不同服务器可以直接运行此脚本，实现用户创建的过程。
用root用户登录linux，运行命令：
[root@T5038 opt]# vi createuser.sh
[root@T5038 opt]# chmod 777 createuser.sh
文件内容如下：
mkdir /opt;
mkdir /o ...
0.安装vsftpd-2.0.1-5.i386.rpm,命令如下:rpm -ivh vsftpd-2.0.1-5.i386.rpm;
1.在图形界面的删除/添加组件下,安装ftp功能组件;
2.进入linux命令行,进入目录:cd /etc/vsftpd;
3.编辑vsftpd.conf文件:vi vsftpd.conf;
4.找到anonymous_enable=YES,把YES改为NO;
5.找到#ascii_upload_enable=YES和#ascii_download_enable=YES,去掉每行前面的"#"标志;
6.vsftpd.conf配置完毕,保存退出; ...
Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。
Hive的UDF开发只需要重构UDF类的evaluate函数即可。例：
package com.hrj.hive.udf;
import org.apache.hadoop.hive.ql.exec.UDF;
public class helloUDF extends UDF {
public String evaluate(String str) {
try {
return \"HelloWorld \" + str;
} cat ...
htmlparser接口可用于提取分析html页面的内容。
本文只简单说明下如何利用htmlparser获取某个节点标签的内容，和获取循环节点的列表内容的个人总结。其它操作方法，因网上已经有很多相关的帮助文档，在此不再重复说明。
大致思路：
1：定义org.htmlparser.filters的类型，确定需要获取的标签或内容范围。常用的HMLT filter类型有：AndFilter、HasAttributeFilter、HasChildFilter、HasParentFilter、LinkStringFilter、NotFilter、OrFilter、TagNameFilter等类型。
为了 ...
HBase 是Hadoop的一个子项目,HBase采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上,一方面里用了hdfs的高可靠性和可伸缩行,另外一方面里用了BigTable的高效数据组织形式.可以说HBase为海量数据的real-time相应提供了很好的一个开源解决方案.据说在某运营商中使用类似于 BigTable(个人猜测应该就是HBase)的技术可以在两秒时间内从2TB数据中查找到某条话费记录.而这是原来该运营商使用Oracle数据库所无法解决的问题.
对于HBase使用的类似与BigTable的技术我们这里就不仔细描述,可以参 ...
MyEclipse快捷键
（1）Ctrl+M切换窗口的大小
（2）Ctrl+Q跳到最后一次的编辑处
（3）F2当鼠标放在一个标记处出现Tooltip时候按F2则把鼠标移开时Tooltip还会显示即Show Tooltip Description。
F3跳到声明或定义的地方。
F5单步调试进入函数内部 ...
SecureCRT 工具显示乱码
解决方法是：
1，修改远程linux机器的配置
vim /etc/sysconfig/i18n
把LANG改成支持UTF-8的字符集
如：
LANG=”zh_CN.UTF-8″
或者是
LANG=”en_US.UTF-8″
然后再改Secure CRT的设置
选项->会话选项->外观->字符编码->uft-8
2、修改vi /etc/sysconfig/i18n
为
LANG=\"zh_CN.GB2312\"
SUPPORTED=\"zh_CN.GB2312:zh_CN.UTF-8:zh ...
安装了IE8使用之后，有个很烦人的事情，页面老是跑死，然后需要刷新，弹出提示 此选项卡已经恢复 后，页面如果没有问题，才可以正常浏览。
解决办法就是关闭SmartScreen筛选器。
打开IE8的 工具->选项->安全->选择Internet->自定义级别，找到 使用 SmartScreen 筛选器，选择禁用，然后确定就可以了。
svn(subversion)是近年来崛起的版本管理工具，是cvs的接班人。目前，绝大多数开源软件都使用svn作为代码版本管理软件。
Svn 分为服务器端和客户端口
服务器端:一般在开发的工程中在我们的公司有有一个服务器这个服务器可能有 ...
以下操作1—7步为root用户
1. 硬件环境要求
检查内容 最小值 检查命令参考
物理内存 512M # grep MemTotal /proc/meminfo
交换空间 1.0 GB或者2倍内存大小 # grep SwapTotal /proc/meminfo
/tmp 空间 400 MB # df -k /tmp
软件所需空间 2.5 GB # df -k (空间越大越好,如果是正式系统,应该进行详尽的规划)
数据库文件 1.2 GB # df -k (空间越大越好,如果是正式系统,应该进行详尽的规划)
运行命令 #df –h /tmp 查看临时磁盘空间是否足够；若不够：删除 ...
一、在控制台,切换到数据库用户:su - oracle
二、输入:lsnrctl start;启动监听器;
三、启动数据库；
四、操作数据库，如创建用户，授权，建表等；
五、关闭数据库；
六、关闭监听器；
注：数据库安装完毕后，一般情况是以超管的角色进入数据库平台，再创建一普通用户，作应用系统登录或开发管理用。
附一：监听器的启动关闭：
用oracle用户，在linux控制台下输入lsnrctl，进入：LSNRCTL>状态；
除：
start：启动监听器；
stop：停止监听器；
处，还有以下命令：
status；services；version；reload；可供选择运行；
附二 ...
1.查询某个命令其所在的路径:
如: which (whereis) ls
2.查询path的值:
如:echo $path
3.linux 命令出现乱码:
运行echo $LANG 显示值为:zh_CN.UTF-8
运行:export LANG=en_US,修改其字符集,乱码问题解决.
4.linux显示中文乱码
vi /etc/sysconfig/i18n
将内容改为
LANG=\"zh_CN.GB18030\"
LANGUAGE=\"zh_CN.GB18030:zh_CN.GB2312:zh_CN\"
SUPPORTED=\"z ...
在做web应用程序时，经常要用到request方法来读取页面传递过来的参数内容，这两天，发现一现象，当传递过来的参数的内容中含有#这个符号时候，程序中所读到的参数值会把#号后面的字符串全部截掉．具体例子的现象如下：
页面：form1.action=\"test.do?action=test&color=the color is #ff0000\";
当在java程序中，用String color = request.getParameter(\"color\");
读参数值时，返回来的值是：＂the color is ＂，而不是我们所想要的：＂th ...
前提条件: 系统的运用目录放在d:/abc/web/目录下.
1.安装jdk,假设目录装在:C:\\j2sdk1.4.2_05,并设置环境变量: JAVA_HOME: 为 C:\\j2sdk1.4.2_05
2.进入http://tomcat.apache.org/download-55.cgi,下载jakarta-tomcat-5.0.28.zip;
3.下载完毕后,解压在d:/tomcat5目录下，并设置环境变量：CATALINA_HOME=d:/tomcat5，
最好把以下的环境变量都设置了。
JAVA_HOME=C:\\j2sdk1.4.2_05;
CATALINA ...
J2SDK 作为jsp系统配置中必不可少的组件，越来越多的得到应用。下来是我整理的以往工作时搜集的资料。使用时方便查询，希望对广大的工程师有帮助。
windows服务器环境下 j2sdk 的安装和环境设置
第一步：进入SUN公司JAVA的JDK 1.4版本免费安装程序，下载主页地址：
http://java.sun.com/j2se/1.4/download.html
单击download，进入下载协议，选择接受协议。
第二步：JDK安装程序：
j2sdk-1_4_1_04-windows-i586.exe
第三步：选择安装jdk的目录，如设为d:j2sdk1.4.1_04
第四步： ...