`
heipark
  • 浏览: 2097426 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表
在pom中声明ant插件:maven-antrun-plugin 设置ant在maven哪个"phase"和“goal”执行 编写ant task 在pom文件声明package类型为war包:<packaging>war</packaging> 打包:mvn clean  package 或者 mvn clean  package -DskipTests=true 下面是我程序中使用的片段,在打war包同时将线上的jdbc文件替换开发使用的jdbc文件。     <plugin> <a ...
  $HADOOP_HOME/bin/hadoop文件是Hadoop主要shell脚本,它提供格式化HDFS、恢复namenode、HDFS Shell、任务提交等诸多功能,它的执行语句在最后一行,如下:   exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"   下面是这几个变量的说明:   $JAVA  $JAVA_HOME/bin/java     $JAVA_HEAP_MAX -Xmx1000m ...
使用alias配置目录“/data1/tencent/publish”   Alias /accesslog "/data1/tencent/publish"<Directory "/data1/tencent/publish">  AllowOverride AuthConfig  Options Indexes MultiViews FollowSymLinks  Order allow,deny  Allow from all</Directory>     publish目录为权限为755,访问服务器报错:Fo ...
第一条:一定要保证集群设备配置文件(包括/etc/hosts)一致,否则因为配置文件导致的各种问题会让你崩溃。(如果有集群配置管理系统除外)
  secondary namenoded 配置很容易被忽视,如果jps检查都正常,大家通常不会太关心,除非namenode发生问题的 时候,才会想起还有个secondary namenode,它的配置共两步:   集群配置文件conf/master中添加secondarynamenode的机器名 修改/添加 hdfs-site.xml中如下属性: <property> <name>dfs.http.address</name> <value>{your_namenode_ip}:50070</value> ...

hadoop shell

  查看集群状态:   hadoop dfsadmin -report   显示块的信息,包括:备份数量,存在哪个节点,保存状态     hadoop fsck /user/ak47/tmp_0.gz -files -racks -blocks   检查HDFS状态:   hadoop fsck {path}举例:hadoop fsck /user   使用distcp在集群间进行文件复制(在dist机器执行)     hadoop distcp hdfs://{src_host_ip}:9000/log/src/FCACCESS/20110105/00 h ...
/dfs/namesecondary下只有current的空文件夹和lastcheckporint.tmp(文件名记不清了)文件,检查logs,发现如下错误:   2011-06-09 11:06:41,430 INFO org.apache.hadoop.hdfs.server.common.Storage: Recovering storage directory /tmp/hadoop-hadoop/dfs/namesecondary from failed checkpoint.2011-06-09 11:06:41,433 ERROR org.apache.hadoop.h ...
查看机器有多少core cat /proc/cpuinfo | grep processor |wc -l     查看cpu主频   cat /proc/cpuinfo |grep MHz|uniq   查看机器有多少物理CPU   通过"cat /proc/cpuinfo"查询model name,然后到intel官方网站查询(http://ark.intel.com/Product.aspx?id=37096)。比如我的服务器CPU为   Intel® Xeon® Processor E5506,表格“#of Cores”为CP ...

kill hadoop job

查看当前运行job列表:     hadoop job -list     kill job举例,最后一个参数是Job Id     hadoop job -kill job_201106031716_0031      
第一步: 将hive-0.7.0\lib\py 中所有py文件拷贝到你自己的Python工程中。第二步: 把下面的代码拷贝一份新建一个py文件,修改IP,port ,输入要执行的SQL。     #encoding=utf-8 from hive_service import ThriftHive from hive_service.ttypes import HiveServerException from thrift import Thrift from thrift.transport import TSocket from thrift.transpo ...
使用hadoop eclipse-plugin删除hdfs文件报错,错误信息:   Unable to delete file  .... org.apache.hadoop.security.AccessControlException: Permission denied: user =test , access=WRITE, inode="pokes":hadoop:supergroup:rwxr-xr-x   解决:打开插件“Map/Reduce Location”,选中一个Location,打开“Advance parameters” Tab,找到&qu ...
下载安装  wget http://mirror.bjtu.edu.cn/apache/hive/hive-0.7.0/hive-0.7.0.tar.gztar -zxf hive-0.7.0.tar.gz cd hive-0.7.0vi ~/.bashrcexport HIVE_HOME={you_hive_home_here}export PATH=$HIVE_HOME/bin:$PATH     初始化HDFS路径   hadoop fs -mkdir /tmp hadoop fs -mkdir /user/hive/warehouse hadoop fs -chm ...

修改机器DNS

vi /etc/resolv.conf,可以添加多个DNS   nameserver 202.106.196.115 nameserver 202.106.0.20  
定义一个job:ranJob,设置每秒执行一次,设置不允许覆盖并发执行   <bean id="rankJob" class="com.chinacache.www.logstat.job.RankJob" /> <bean id="rankJobDetail" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean"> <property name=" ...
windows运行“django-admin.py startproject hello”创建django项目时报错“ImportError: No module named django.core”  原因:安装两个版本的python,运行py程序使用前一个版本python程序所致 解决:卸载老版本python,在删除程序过程选择“repair”修复py文件管理程序,再试试就OK了。   用pydev开发django大量报错import error,提示找不到库 解决一:打开preference-> pydev ->interpreter python -> For ...
Global site tag (gtag.js) - Google Analytics