搭建环境:Centos x 6.4 64bit
1、安装JDK
我这里用的是64位机，要下载对应的64位的JDK,下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html，选择对应的JDK版本，解压JDK，然后配置环境变量,
[html] view plaincopy
vi /etc/profile
注：这里有的人喜欢配置在当前用户里，我这里是配置的全局。
[html] view plaincopy
export PATH
export JAVA_HOME=/opt/jdk1.7
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
测试下JDK是否安装成功: java -version
[html] view plaincopy
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)
2、编译前的准备(maven)
maven官方下载地址，可以选择源码编码安装，这里就直接下载编译好的 就可以了
[html] view plaincopy
wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.zip
解压文件后，同样在/etc/profie里配置环境变量
[html] view plaincopy
export MAVEN_HOME=/opt/maven3.1.1
export PATH=$PATH:$MAVEN_HOME/bin
验证配置是否成功: mvn -version
[html] view plaincopy
Apache Maven 3.1.1 (0728685237757ffbf44136acec0402957f723d9a; 2013-09-17 23:22:22+0800)
Maven home: /opt/maven3.1.1
Java version: 1.7.0_45, vendor: Oracle Corporation
Java home: /opt/jdk1.7/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-358.el6.x86_64", arch: "amd64", family: "unix"
3、编译hadoop
这个地方你将会遇到各式各样的头疼问题
首先官方下载hadoop源码
[html] view plaincopy
wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz
如果是你32bit的机器，可以直接下载官方已经编译好的包，64bit的机子跑编译好的包跑不了。
由于maven国外服务器可能连不上，先给maven配置一下国内镜像，在maven目录下，conf/settings.xml,在<mirrors></mirros>里添加，原本的不要动
[html] view plaincopy
<mirror>
<id>nexus-osc</id>
<mirrorOf>*</mirrorOf>
<name>Nexusosc</name>
<url>http://maven.oschina.net/content/groups/public/</url>
</mirror>
同样，在<profiles></profiles>内新添加
[html] view plaincopy
<profile>
<id>jdk-1.7</id>
<activation>
<jdk>1.7</jdk>
</activation>
<repositories>
<repository>
<id>nexus</id>
<name>local private nexus</name>
<url>http://maven.oschina.net/content/groups/public/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
</repositories>
<pluginRepositories>
<pluginRepository>
<id>nexus</id>
<name>local private nexus</name>
<url>http://maven.oschina.net/content/groups/public/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</pluginRepository>
</pluginRepositories>
</profile>
编译clean
[html] view plaincopy
cd hadoop2.2.0-src
mvn clean install –DskipTests
发现异常
[html] view plaincopy
[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.2.0:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: 'protoc --version' did not return a version -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR] mvn <goals> -rf :hadoop-common
hadoop2.2.0编译需要protoc2.5.0的支持，所以还要下载protoc，下载地址:https://code.google.com/p/protobuf/downloads/list，要下载2.5.0版本噢
对protoc进行编译安装前先要装几个依赖包:gcc,gcc-c++,make 如果已经安装的可以忽略
[html] view plaincopy
yum install gcc
yum intall gcc-c++
yum install make
安装protoc
[html] view plaincopy
tar -xvf protobuf-2.5.0.tar.bz2
cd protobuf-2.5.0
./configure --prefix=/opt/protoc/
make && make install
安装完配置下环境变量，就不多说了，跟上面过程一样。
别急，还不要着急开始编译安装，不然又是各种错误,需要安装cmake,openssl-devel,ncurses-devel依赖
[html] view plaincopy
yum install cmake
yum install openssl-devel
yum install ncurses-devel
目前的2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。否则编译hadoop-auth 会提示下面错误：
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:testCompile (default-testCompile) on project hadoop-auth: Compilation failure: Compilation failure:
[ERROR] /home/chuan/trunk/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security/authentication/client/AuthenticatorTestCase.java:[84,13] cannot access org.mortbay.component.AbstractLifeCycle
[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found
Patch :https://issues.apache.org/jira/browse/HADOOP-10110
ok,现在可以进行编译了，
[html] view plaincopy
mvn package -Pdist,native -DskipTests -Dtar
现在可以拿出你的手机，玩会游戏了，慢慢等吧！
[html] view plaincopy
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Apache Hadoop Main ................................ SUCCESS [3.709s]
[INFO] Apache Hadoop Project POM ......................... SUCCESS [2.229s]
[INFO] Apache Hadoop Annotations ......................... SUCCESS [5.270s]
[INFO] Apache Hadoop Assemblies .......................... SUCCESS [0.388s]
[INFO] Apache Hadoop Project Dist POM .................... SUCCESS [3.485s]
[INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [8.655s]
[INFO] Apache Hadoop Auth ................................ SUCCESS [7.782s]
[INFO] Apache Hadoop Auth Examples ....................... SUCCESS [5.731s]
[INFO] Apache Hadoop Common .............................. SUCCESS [1:52.476s]
[INFO] Apache Hadoop NFS ................................. SUCCESS [9.935s]
[INFO] Apache Hadoop Common Project ...................... SUCCESS [0.110s]
[INFO] Apache Hadoop HDFS ................................ SUCCESS [1:58.347s]
[INFO] Apache Hadoop HttpFS .............................. SUCCESS [26.915s]
[INFO] Apache Hadoop HDFS BookKeeper Journal ............. SUCCESS [17.002s]
[INFO] Apache Hadoop HDFS-NFS ............................ SUCCESS [5.292s]
[INFO] Apache Hadoop HDFS Project ........................ SUCCESS [0.073s]
[INFO] hadoop-yarn ....................................... SUCCESS [0.335s]
[INFO] hadoop-yarn-api ................................... SUCCESS [54.478s]
[INFO] hadoop-yarn-common ................................ SUCCESS [39.215s]
[INFO] hadoop-yarn-server ................................ SUCCESS [0.241s]
[INFO] hadoop-yarn-server-common ......................... SUCCESS [15.601s]
[INFO] hadoop-yarn-server-nodemanager .................... SUCCESS [21.566s]
[INFO] hadoop-yarn-server-web-proxy ...................... SUCCESS [4.754s]
[INFO] hadoop-yarn-server-resourcemanager ................ SUCCESS [20.625s]
[INFO] hadoop-yarn-server-tests .......................... SUCCESS [0.755s]
[INFO] hadoop-yarn-client ................................ SUCCESS [6.748s]
[INFO] hadoop-yarn-applications .......................... SUCCESS [0.155s]
[INFO] hadoop-yarn-applications-distributedshell ......... SUCCESS [4.661s]
[INFO] hadoop-mapreduce-client ........................... SUCCESS [0.160s]
[INFO] hadoop-mapreduce-client-core ...................... SUCCESS [36.090s]
[INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SUCCESS [2.753s]
[INFO] hadoop-yarn-site .................................. SUCCESS [0.151s]
[INFO] hadoop-yarn-project ............................... SUCCESS [4.771s]
[INFO] hadoop-mapreduce-client-common .................... SUCCESS [24.870s]
[INFO] hadoop-mapreduce-client-shuffle ................... SUCCESS [3.812s]
[INFO] hadoop-mapreduce-client-app ....................... SUCCESS [15.759s]
[INFO] hadoop-mapreduce-client-hs ........................ SUCCESS [6.831s]
[INFO] hadoop-mapreduce-client-jobclient ................. SUCCESS [8.126s]
[INFO] hadoop-mapreduce-client-hs-plugins ................ SUCCESS [2.320s]
[INFO] Apache Hadoop MapReduce Examples .................. SUCCESS [9.596s]
[INFO] hadoop-mapreduce .................................. SUCCESS [3.905s]
[INFO] Apache Hadoop MapReduce Streaming ................. SUCCESS [7.118s]
[INFO] Apache Hadoop Distributed Copy .................... SUCCESS [11.651s]
[INFO] Apache Hadoop Archives ............................ SUCCESS [2.671s]
[INFO] Apache Hadoop Rumen ............................... SUCCESS [10.038s]
[INFO] Apache Hadoop Gridmix ............................. SUCCESS [6.062s]
[INFO] Apache Hadoop Data Join ........................... SUCCESS [4.104s]
[INFO] Apache Hadoop Extras .............................. SUCCESS [4.210s]
[INFO] Apache Hadoop Pipes ............................... SUCCESS [9.419s]
[INFO] Apache Hadoop Tools Dist .......................... SUCCESS [2.306s]
[INFO] Apache Hadoop Tools ............................... SUCCESS [0.037s]
[INFO] Apache Hadoop Distribution ........................ SUCCESS [21.579s]
[INFO] Apache Hadoop Client .............................. SUCCESS [7.299s]
[INFO] Apache Hadoop Mini-Cluster ........................ SUCCESS [7.347s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 11:53.144s
[INFO] Finished at: Fri Nov 22 16:58:32 CST 2013
[INFO] Final Memory: 70M/239M
[INFO] ------------------------------------------------------------------------
直到看到上面的内容那就说明编译完成了。
编译后的路径在:hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0
[html] view plaincopy
[root@localhost bin]# ./hadoop version
Hadoop 2.2.0
Subversion Unknown -r Unknown
Compiled by root on 2013-11-22T08:47Z
Compiled with protoc 2.5.0
From source with checksum 79e53ce7994d1628b240f09af91e1af4
This command was run using /data/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
可以看出hadoop的版本
[html] view plaincopy
[root@localhost hadoop-2.2.0]# file lib//native/*
lib//native/libhadoop.a: current ar archive
lib//native/libhadooppipes.a: current ar archive
lib//native/libhadoop.so: symbolic link to `libhadoop.so.1.0.0'
lib//native/libhadoop.so.1.0.0: <span style="color:#ff0000;">ELF 64-bit LSB shared object, x86-64, version 1</span> (SYSV), dynamically linked, not stripped
lib//native/libhadooputils.a: current ar archive
lib//native/libhdfs.a: current ar archive
lib//native/libhdfs.so: symbolic link to `libhdfs.so.0.0.0'
lib//native/libhdfs.so.0.0.0: <span style="color:#ff0000;">ELF 64-bit LSB shared object, x86-64, version 1</span> (SYSV), dynamically linked, not stripped
注意红色字体部分，如果下载官网的编译好的包，这里显示的是32-bit。
hadoop编译成功，下面可以来部署集群。
5、部署集群准备
两台以上机器，修改hostname, ssh免登陆，关闭防火墙等
5.1、创建新用户
[html] view plaincopy
useradd hadoop
su hadoop
注意以下操作有些需要root权限
5.2、修改主机名
[html] view plaincopy
vi /etc/sysconfig/network
[html] view plaincopy
hostname master
注销一下系统
[html] view plaincopy
[root@master ~]#
变成master了,修改生效
5.3、修改hosts
[html] view plaincopy
vi /etc/hosts
新增你的主机IP和HOSTNAME
192.168.10.10 master
192.168.10.11 slave1
5.4、ssh免登陆
查看ssh
[html] view plaincopy
[root@localhost data]# rpm -qa|grep ssh
libssh2-1.4.2-1.el6.x86_64
openssh-5.3p1-84.1.el6.x86_64
openssh-server-5.3p1-84.1.el6.x86_64
缺少openssh-clients,
[html] view plaincopy
yum install openssh-clients
修改/etc/ssh/sshd_config
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
把这三行放开保存
然后service sshd restart
现在开始配置无密登录
[html] view plaincopy
[hadoop@master ~]$ cd /home/hadoop/
[hadoop@master ~]$ ssh-keygen -t rsa
一路回车
[html] view plaincopy
[hadoop@master ~]$ cd .ssh/
[hadoop@master .ssh]$ cp id_rsa.pub authorized_keys
[hadoop@master .ssh]$ chmod 600 authorized_keys
把authorized_keys复制到其他要无密的机器上
[html] view plaincopy
[hadoop@master .ssh]$ scp authorized_keys root@192.168.10.11:/home/hadoop/.ssh/
记得这里是以要以root权限过去，不然会报权限错误
一般情况到这里就可以无密登录了，可是我怎么还是需要密码，经过一翻搜寻才知道这是centos6.4版本的问题，《关于centos ssh无密登录失败的记录》
[html] view plaincopy
[hadoop@master .ssh]$ ssh slave1
Last login: Mon Nov 25 14:49:25 2013 from master
[hadoop@slave1 ~]$
看到已经变成slave1了，说明成功鸟
6、开始集群配置工作
配置之前在要目录下创建三个目录，用来放hadooop文件和日志数据
[html] view plaincopy
[hadoop@master ~]$mkdir -p dfs/name
[hadoop@master ~]$mkdir -p dfs/data
[hadoop@master ~]$mkdir -p temp
把之前编译成功的版本移到hadoop目录下，注意目录权限问题
下面就开始配置文件
6.1 hadoop-env.sh
找到JAVA_HOME，把路径改为实际地址
6.2 yarn-env.sh
同6.1
6.3 slave
配置所有slave节点
6.4 core-site.xml
[html] view plaincopy
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value> //系统分布式URL
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/temp</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
注意fs.defaultFS为2.2.0新的变量，代替旧的：fs.default.name
6.5、hdfs-site.xml
配置namenode、datanode的本地目录信息
[html] view plaincopy
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/dfs/data,/mnt/d1,/mnt/d2,/mnt/d3<table border="1" cellspacing="0" cellpadding="0" style="background:black;"><tbody><tr><td valign="top"><span style="background-color: rgb(240, 240, 240);"></value></span></td></tr></tbody></table> </property>
<span style="white-space:pre"> </span><property>
<name>dfs.replication</name>
<value>3</value>
</property>
<span style="white-space:pre"> </span><property>
<name>dfs.webhdfs.enabled</name>
<span style="white-space:pre"> </span><value>true</value>
</property>
新的：dfs.namenode.name.dir，旧：dfs.name.dir，新：dfs.datanode.name.dir，旧：dfs.data.dir
dfs.replication确定 data block的副本数目，hadoop基于rackawareness(机架感知)默认复制3份分block,（同一个rack下两个，另一个rack下一 份，按照最短距离确定具体所需block, 一般很少采用跨机架数据块，除非某个机架down了）
6.6、mapred-site.xml
配置其使用 Yarn 框架执行 map-reduce 处理程序
这个地方需要把mapred-site.xml.template复制重新命名
[html] view plaincopy
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value><span style="font-family: Consolas, 'Courier New', Courier, mono, serif; line-height: 18px;">master</span>:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
新的计算框架取消了实体上的jobtracker, 故不需要再指定mapreduce.jobtracker.addres，而是要指定一种框架，这里选择yarn. 备注2：hadoop2.2.还支持第三方的计算框架，但没怎么关注过。
配置好以后将$HADOOP_HOME下的所有文件，包括hadoop目录分别copy到其它3个节点上。
6.7、yarn-site.xml
配置ResourceManager,NodeManager的通信端口，WEB监控端口等
[html] view plaincopy
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
[html] view plaincopy
<table cellspacing="0" cellpadding="0" class="t1 "><tbody><tr><td valign="middle" class="td1"><p class="p1"><property></p><p class="p1"><name>yarn.nodemanager.resource.memory-mb</name> //配置内存</p><p class="p1"><value>15360</value></p><p class="p1"></property></p></td></tr></tbody></table>
[html] view plaincopy
<table cellspacing="0" cellpadding="0" class="t1 "><tbody><tr><td valign="middle" class="td1"><p class="p1"><span style="background-color: rgb(255, 255, 255);">到这里基本配置好了，把所有复制到其他的slave节点。</span></p></td></tr></tbody></table>
7、启动hadoop
这里你可以进行环境变量设置，不举例了
7.1、格式化namenode
[html] view plaincopy
[hadoop@master hadoop]$ cd /home/hadoop/hadoop-2.2.0/bin/
[hadoop@master bin]$ ./hdfs namenode -format
7.2、启动hdfs
[html] view plaincopy
[hadoop@master bin]$ cd ../sbin/
[hadoop@master sbin]$ ./start-dfs.sh
这时候在master中输入jps应该看到namenode和secondarynamenode服务启动，slave中看到datanode服务启动
7.3、启动yarn
[html] view plaincopy
[hadoop@master sbin]$ ./start-yarn.sh
master中应该有ResourceManager服务，slave中应该有nodemanager服务
查看集群状态：./bin/hdfs dfsadmin –report
查看文件块组成： ./bin/hdfsfsck / -files -blocks
查看各节点状态: http://192.168.10.10:50070
查看resourcemanager上cluster运行状态: http:// 192.168.10.11:8088
8、安装中要注意的事项
8.1、注意版本，机器是32bit还是64位
8.2、注意依赖包的安装
8.3、写配置文件注意”空格“，特别是从别的地方copy的时候
8.4、关闭所有节点的防火墙
如果有看到类似"no route to host"这样的异常，基本就是防火墙没关
记得关的时候要切换到root帐号
[html] view plaincopy
（1） 重启后永久性生效：
开启：chkconfig iptables on
关闭：chkconfig iptables off
（2） 即时生效，重启后失效：
开启：service iptables start
关闭：service iptables stop
8.5、开启datanode后自动关闭
基本是因为namenode和datanode的clusterID不一致，可以参考《解决hadoop集群中datanode启动后自动关闭的问题》
其他一些特殊异常只能google之了
8.6 no datanode to stop
删除/tmp目录下的
adoop-daemon.sh代码，脚本是通过pid文件来停止hadoop服务的，而集群配置是使用的默认配置，pid文件位于/tmp目录下，对比/tmp目录下hadoop pid文件中的进程id和ps ax查出来的进程id，发现两个进程id不一致，终于找到了问题的根源。
赶紧去更新hadoop的配置吧！
修改hadoop-env.sh中的：HADOOP_PID_DIR = hadoop安装路径
9、运行测试例子
[html] view plaincopy
[hadoop@master bin]$ ./yarn jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar randomwriter /home/hadoop/dfs/input/
这里要注意不要用 -jar,不然会报异常“Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/util/ProgramDriver”
[html] view plaincopy
[hadoop@master bin]$ ./yarn jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /home/hadoop/dfs/input/ /home/hadoop/dfs/output/
在input下面新建两个文件
[html] view plaincopy
$mkdir /dfs/input %echo ‘hello,world’ >> input/file1.in
$echo ‘hello, ruby’ >> input/file2.in
./bin/hadoop fs -mkdir -p /home/hadoop/dfs/input
./bin/hadoop fs –put /home/hadoop/dfs/input /home/hadoop/test/test_wordcount/in
查看word count的计算结果：
$bin/hadoop fs -cat /home/hadoop/test/test_wordcount/out/*
hadoop 1
hello 1
ruby
1、安装JDK
我这里用的是64位机，要下载对应的64位的JDK,下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html，选择对应的JDK版本，解压JDK，然后配置环境变量,
[html] view plaincopy
vi /etc/profile
注：这里有的人喜欢配置在当前用户里，我这里是配置的全局。
[html] view plaincopy
export PATH
export JAVA_HOME=/opt/jdk1.7
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
测试下JDK是否安装成功: java -version
[html] view plaincopy
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)
2、编译前的准备(maven)
maven官方下载地址，可以选择源码编码安装，这里就直接下载编译好的 就可以了
[html] view plaincopy
wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.zip
解压文件后，同样在/etc/profie里配置环境变量
[html] view plaincopy
export MAVEN_HOME=/opt/maven3.1.1
export PATH=$PATH:$MAVEN_HOME/bin
验证配置是否成功: mvn -version
[html] view plaincopy
Apache Maven 3.1.1 (0728685237757ffbf44136acec0402957f723d9a; 2013-09-17 23:22:22+0800)
Maven home: /opt/maven3.1.1
Java version: 1.7.0_45, vendor: Oracle Corporation
Java home: /opt/jdk1.7/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-358.el6.x86_64", arch: "amd64", family: "unix"
3、编译hadoop
这个地方你将会遇到各式各样的头疼问题
首先官方下载hadoop源码
[html] view plaincopy
wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz
如果是你32bit的机器，可以直接下载官方已经编译好的包，64bit的机子跑编译好的包跑不了。
由于maven国外服务器可能连不上，先给maven配置一下国内镜像，在maven目录下，conf/settings.xml,在<mirrors></mirros>里添加，原本的不要动
[html] view plaincopy
<mirror>
<id>nexus-osc</id>
<mirrorOf>*</mirrorOf>
<name>Nexusosc</name>
<url>http://maven.oschina.net/content/groups/public/</url>
</mirror>
同样，在<profiles></profiles>内新添加
[html] view plaincopy
<profile>
<id>jdk-1.7</id>
<activation>
<jdk>1.7</jdk>
</activation>
<repositories>
<repository>
<id>nexus</id>
<name>local private nexus</name>
<url>http://maven.oschina.net/content/groups/public/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
</repositories>
<pluginRepositories>
<pluginRepository>
<id>nexus</id>
<name>local private nexus</name>
<url>http://maven.oschina.net/content/groups/public/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</pluginRepository>
</pluginRepositories>
</profile>
编译clean
[html] view plaincopy
cd hadoop2.2.0-src
mvn clean install –DskipTests
发现异常
[html] view plaincopy
[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.2.0:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: 'protoc --version' did not return a version -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR] mvn <goals> -rf :hadoop-common
hadoop2.2.0编译需要protoc2.5.0的支持，所以还要下载protoc，下载地址:https://code.google.com/p/protobuf/downloads/list，要下载2.5.0版本噢
对protoc进行编译安装前先要装几个依赖包:gcc,gcc-c++,make 如果已经安装的可以忽略
[html] view plaincopy
yum install gcc
yum intall gcc-c++
yum install make
安装protoc
[html] view plaincopy
tar -xvf protobuf-2.5.0.tar.bz2
cd protobuf-2.5.0
./configure --prefix=/opt/protoc/
make && make install
安装完配置下环境变量，就不多说了，跟上面过程一样。
别急，还不要着急开始编译安装，不然又是各种错误,需要安装cmake,openssl-devel,ncurses-devel依赖
[html] view plaincopy
yum install cmake
yum install openssl-devel
yum install ncurses-devel
目前的2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。否则编译hadoop-auth 会提示下面错误：
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:testCompile (default-testCompile) on project hadoop-auth: Compilation failure: Compilation failure:
[ERROR] /home/chuan/trunk/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security/authentication/client/AuthenticatorTestCase.java:[84,13] cannot access org.mortbay.component.AbstractLifeCycle
[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found
Patch :https://issues.apache.org/jira/browse/HADOOP-10110
ok,现在可以进行编译了，
[html] view plaincopy
mvn package -Pdist,native -DskipTests -Dtar
现在可以拿出你的手机，玩会游戏了，慢慢等吧！
[html] view plaincopy
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Apache Hadoop Main ................................ SUCCESS [3.709s]
[INFO] Apache Hadoop Project POM ......................... SUCCESS [2.229s]
[INFO] Apache Hadoop Annotations ......................... SUCCESS [5.270s]
[INFO] Apache Hadoop Assemblies .......................... SUCCESS [0.388s]
[INFO] Apache Hadoop Project Dist POM .................... SUCCESS [3.485s]
[INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [8.655s]
[INFO] Apache Hadoop Auth ................................ SUCCESS [7.782s]
[INFO] Apache Hadoop Auth Examples ....................... SUCCESS [5.731s]
[INFO] Apache Hadoop Common .............................. SUCCESS [1:52.476s]
[INFO] Apache Hadoop NFS ................................. SUCCESS [9.935s]
[INFO] Apache Hadoop Common Project ...................... SUCCESS [0.110s]
[INFO] Apache Hadoop HDFS ................................ SUCCESS [1:58.347s]
[INFO] Apache Hadoop HttpFS .............................. SUCCESS [26.915s]
[INFO] Apache Hadoop HDFS BookKeeper Journal ............. SUCCESS [17.002s]
[INFO] Apache Hadoop HDFS-NFS ............................ SUCCESS [5.292s]
[INFO] Apache Hadoop HDFS Project ........................ SUCCESS [0.073s]
[INFO] hadoop-yarn ....................................... SUCCESS [0.335s]
[INFO] hadoop-yarn-api ................................... SUCCESS [54.478s]
[INFO] hadoop-yarn-common ................................ SUCCESS [39.215s]
[INFO] hadoop-yarn-server ................................ SUCCESS [0.241s]
[INFO] hadoop-yarn-server-common ......................... SUCCESS [15.601s]
[INFO] hadoop-yarn-server-nodemanager .................... SUCCESS [21.566s]
[INFO] hadoop-yarn-server-web-proxy ...................... SUCCESS [4.754s]
[INFO] hadoop-yarn-server-resourcemanager ................ SUCCESS [20.625s]
[INFO] hadoop-yarn-server-tests .......................... SUCCESS [0.755s]
[INFO] hadoop-yarn-client ................................ SUCCESS [6.748s]
[INFO] hadoop-yarn-applications .......................... SUCCESS [0.155s]
[INFO] hadoop-yarn-applications-distributedshell ......... SUCCESS [4.661s]
[INFO] hadoop-mapreduce-client ........................... SUCCESS [0.160s]
[INFO] hadoop-mapreduce-client-core ...................... SUCCESS [36.090s]
[INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SUCCESS [2.753s]
[INFO] hadoop-yarn-site .................................. SUCCESS [0.151s]
[INFO] hadoop-yarn-project ............................... SUCCESS [4.771s]
[INFO] hadoop-mapreduce-client-common .................... SUCCESS [24.870s]
[INFO] hadoop-mapreduce-client-shuffle ................... SUCCESS [3.812s]
[INFO] hadoop-mapreduce-client-app ....................... SUCCESS [15.759s]
[INFO] hadoop-mapreduce-client-hs ........................ SUCCESS [6.831s]
[INFO] hadoop-mapreduce-client-jobclient ................. SUCCESS [8.126s]
[INFO] hadoop-mapreduce-client-hs-plugins ................ SUCCESS [2.320s]
[INFO] Apache Hadoop MapReduce Examples .................. SUCCESS [9.596s]
[INFO] hadoop-mapreduce .................................. SUCCESS [3.905s]
[INFO] Apache Hadoop MapReduce Streaming ................. SUCCESS [7.118s]
[INFO] Apache Hadoop Distributed Copy .................... SUCCESS [11.651s]
[INFO] Apache Hadoop Archives ............................ SUCCESS [2.671s]
[INFO] Apache Hadoop Rumen ............................... SUCCESS [10.038s]
[INFO] Apache Hadoop Gridmix ............................. SUCCESS [6.062s]
[INFO] Apache Hadoop Data Join ........................... SUCCESS [4.104s]
[INFO] Apache Hadoop Extras .............................. SUCCESS [4.210s]
[INFO] Apache Hadoop Pipes ............................... SUCCESS [9.419s]
[INFO] Apache Hadoop Tools Dist .......................... SUCCESS [2.306s]
[INFO] Apache Hadoop Tools ............................... SUCCESS [0.037s]
[INFO] Apache Hadoop Distribution ........................ SUCCESS [21.579s]
[INFO] Apache Hadoop Client .............................. SUCCESS [7.299s]
[INFO] Apache Hadoop Mini-Cluster ........................ SUCCESS [7.347s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 11:53.144s
[INFO] Finished at: Fri Nov 22 16:58:32 CST 2013
[INFO] Final Memory: 70M/239M
[INFO] ------------------------------------------------------------------------
直到看到上面的内容那就说明编译完成了。
编译后的路径在:hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0
[html] view plaincopy
[root@localhost bin]# ./hadoop version
Hadoop 2.2.0
Subversion Unknown -r Unknown
Compiled by root on 2013-11-22T08:47Z
Compiled with protoc 2.5.0
From source with checksum 79e53ce7994d1628b240f09af91e1af4
This command was run using /data/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
可以看出hadoop的版本
[html] view plaincopy
[root@localhost hadoop-2.2.0]# file lib//native/*
lib//native/libhadoop.a: current ar archive
lib//native/libhadooppipes.a: current ar archive
lib//native/libhadoop.so: symbolic link to `libhadoop.so.1.0.0'
lib//native/libhadoop.so.1.0.0: <span style="color:#ff0000;">ELF 64-bit LSB shared object, x86-64, version 1</span> (SYSV), dynamically linked, not stripped
lib//native/libhadooputils.a: current ar archive
lib//native/libhdfs.a: current ar archive
lib//native/libhdfs.so: symbolic link to `libhdfs.so.0.0.0'
lib//native/libhdfs.so.0.0.0: <span style="color:#ff0000;">ELF 64-bit LSB shared object, x86-64, version 1</span> (SYSV), dynamically linked, not stripped
注意红色字体部分，如果下载官网的编译好的包，这里显示的是32-bit。
hadoop编译成功，下面可以来部署集群。
5、部署集群准备
两台以上机器，修改hostname, ssh免登陆，关闭防火墙等
5.1、创建新用户
[html] view plaincopy
useradd hadoop
su hadoop
注意以下操作有些需要root权限
5.2、修改主机名
[html] view plaincopy
vi /etc/sysconfig/network
[html] view plaincopy
hostname master
注销一下系统
[html] view plaincopy
[root@master ~]#
变成master了,修改生效
5.3、修改hosts
[html] view plaincopy
vi /etc/hosts
新增你的主机IP和HOSTNAME
192.168.10.10 master
192.168.10.11 slave1
5.4、ssh免登陆
查看ssh
[html] view plaincopy
[root@localhost data]# rpm -qa|grep ssh
libssh2-1.4.2-1.el6.x86_64
openssh-5.3p1-84.1.el6.x86_64
openssh-server-5.3p1-84.1.el6.x86_64
缺少openssh-clients,
[html] view plaincopy
yum install openssh-clients
修改/etc/ssh/sshd_config
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
把这三行放开保存
然后service sshd restart
现在开始配置无密登录
[html] view plaincopy
[hadoop@master ~]$ cd /home/hadoop/
[hadoop@master ~]$ ssh-keygen -t rsa
一路回车
[html] view plaincopy
[hadoop@master ~]$ cd .ssh/
[hadoop@master .ssh]$ cp id_rsa.pub authorized_keys
[hadoop@master .ssh]$ chmod 600 authorized_keys
把authorized_keys复制到其他要无密的机器上
[html] view plaincopy
[hadoop@master .ssh]$ scp authorized_keys root@192.168.10.11:/home/hadoop/.ssh/
记得这里是以要以root权限过去，不然会报权限错误
一般情况到这里就可以无密登录了，可是我怎么还是需要密码，经过一翻搜寻才知道这是centos6.4版本的问题，《关于centos ssh无密登录失败的记录》
[html] view plaincopy
[hadoop@master .ssh]$ ssh slave1
Last login: Mon Nov 25 14:49:25 2013 from master
[hadoop@slave1 ~]$
看到已经变成slave1了，说明成功鸟
6、开始集群配置工作
配置之前在要目录下创建三个目录，用来放hadooop文件和日志数据
[html] view plaincopy
[hadoop@master ~]$mkdir -p dfs/name
[hadoop@master ~]$mkdir -p dfs/data
[hadoop@master ~]$mkdir -p temp
把之前编译成功的版本移到hadoop目录下，注意目录权限问题
下面就开始配置文件
6.1 hadoop-env.sh
找到JAVA_HOME，把路径改为实际地址
6.2 yarn-env.sh
同6.1
6.3 slave
配置所有slave节点
6.4 core-site.xml
[html] view plaincopy
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value> //系统分布式URL
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/temp</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
注意fs.defaultFS为2.2.0新的变量，代替旧的：fs.default.name
6.5、hdfs-site.xml
配置namenode、datanode的本地目录信息
[html] view plaincopy
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/dfs/data,/mnt/d1,/mnt/d2,/mnt/d3<table border="1" cellspacing="0" cellpadding="0" style="background:black;"><tbody><tr><td valign="top"><span style="background-color: rgb(240, 240, 240);"></value></span></td></tr></tbody></table> </property>
<span style="white-space:pre"> </span><property>
<name>dfs.replication</name>
<value>3</value>
</property>
<span style="white-space:pre"> </span><property>
<name>dfs.webhdfs.enabled</name>
<span style="white-space:pre"> </span><value>true</value>
</property>
新的：dfs.namenode.name.dir，旧：dfs.name.dir，新：dfs.datanode.name.dir，旧：dfs.data.dir
dfs.replication确定 data block的副本数目，hadoop基于rackawareness(机架感知)默认复制3份分block,（同一个rack下两个，另一个rack下一 份，按照最短距离确定具体所需block, 一般很少采用跨机架数据块，除非某个机架down了）
6.6、mapred-site.xml
配置其使用 Yarn 框架执行 map-reduce 处理程序
这个地方需要把mapred-site.xml.template复制重新命名
[html] view plaincopy
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value><span style="font-family: Consolas, 'Courier New', Courier, mono, serif; line-height: 18px;">master</span>:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
新的计算框架取消了实体上的jobtracker, 故不需要再指定mapreduce.jobtracker.addres，而是要指定一种框架，这里选择yarn. 备注2：hadoop2.2.还支持第三方的计算框架，但没怎么关注过。
配置好以后将$HADOOP_HOME下的所有文件，包括hadoop目录分别copy到其它3个节点上。
6.7、yarn-site.xml
配置ResourceManager,NodeManager的通信端口，WEB监控端口等
[html] view plaincopy
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
[html] view plaincopy
<table cellspacing="0" cellpadding="0" class="t1 "><tbody><tr><td valign="middle" class="td1"><p class="p1"><property></p><p class="p1"><name>yarn.nodemanager.resource.memory-mb</name> //配置内存</p><p class="p1"><value>15360</value></p><p class="p1"></property></p></td></tr></tbody></table>
[html] view plaincopy
<table cellspacing="0" cellpadding="0" class="t1 "><tbody><tr><td valign="middle" class="td1"><p class="p1"><span style="background-color: rgb(255, 255, 255);">到这里基本配置好了，把所有复制到其他的slave节点。</span></p></td></tr></tbody></table>
7、启动hadoop
这里你可以进行环境变量设置，不举例了
7.1、格式化namenode
[html] view plaincopy
[hadoop@master hadoop]$ cd /home/hadoop/hadoop-2.2.0/bin/
[hadoop@master bin]$ ./hdfs namenode -format
7.2、启动hdfs
[html] view plaincopy
[hadoop@master bin]$ cd ../sbin/
[hadoop@master sbin]$ ./start-dfs.sh
这时候在master中输入jps应该看到namenode和secondarynamenode服务启动，slave中看到datanode服务启动
7.3、启动yarn
[html] view plaincopy
[hadoop@master sbin]$ ./start-yarn.sh
master中应该有ResourceManager服务，slave中应该有nodemanager服务
查看集群状态：./bin/hdfs dfsadmin –report
查看文件块组成： ./bin/hdfsfsck / -files -blocks
查看各节点状态: http://192.168.10.10:50070
查看resourcemanager上cluster运行状态: http:// 192.168.10.11:8088
8、安装中要注意的事项
8.1、注意版本，机器是32bit还是64位
8.2、注意依赖包的安装
8.3、写配置文件注意”空格“，特别是从别的地方copy的时候
8.4、关闭所有节点的防火墙
如果有看到类似"no route to host"这样的异常，基本就是防火墙没关
记得关的时候要切换到root帐号
[html] view plaincopy
（1） 重启后永久性生效：
开启：chkconfig iptables on
关闭：chkconfig iptables off
（2） 即时生效，重启后失效：
开启：service iptables start
关闭：service iptables stop
8.5、开启datanode后自动关闭
基本是因为namenode和datanode的clusterID不一致，可以参考《解决hadoop集群中datanode启动后自动关闭的问题》
其他一些特殊异常只能google之了
8.6 no datanode to stop
删除/tmp目录下的
adoop-daemon.sh代码，脚本是通过pid文件来停止hadoop服务的，而集群配置是使用的默认配置，pid文件位于/tmp目录下，对比/tmp目录下hadoop pid文件中的进程id和ps ax查出来的进程id，发现两个进程id不一致，终于找到了问题的根源。
赶紧去更新hadoop的配置吧！
修改hadoop-env.sh中的：HADOOP_PID_DIR = hadoop安装路径
9、运行测试例子
[html] view plaincopy
[hadoop@master bin]$ ./yarn jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar randomwriter /home/hadoop/dfs/input/
这里要注意不要用 -jar,不然会报异常“Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/util/ProgramDriver”
[html] view plaincopy
[hadoop@master bin]$ ./yarn jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /home/hadoop/dfs/input/ /home/hadoop/dfs/output/
在input下面新建两个文件
[html] view plaincopy
$mkdir /dfs/input %echo ‘hello,world’ >> input/file1.in
$echo ‘hello, ruby’ >> input/file2.in
./bin/hadoop fs -mkdir -p /home/hadoop/dfs/input
./bin/hadoop fs –put /home/hadoop/dfs/input /home/hadoop/test/test_wordcount/in
查看word count的计算结果：
$bin/hadoop fs -cat /home/hadoop/test/test_wordcount/out/*
hadoop 1
hello 1
ruby
分享到：
发表评论
相关推荐
在本文中，我们将详细探讨在CentOS 6.5 64位系统上编译和安装Hadoop-2.2.0的过程。Hadoop是大数据处理领域广泛使用的框架，它能够跨计算机集群分布式地存储和处理大量数据。以下是详细的安装步骤和知识点。 一、...
### Hadoop 2.2 编译安装详解 #### 一、环境准备 根据所提供的内容，我们可以了解到此次Hadoop 2.2的编译安装是在一个由三台服务器组成的集群环境中进行的，其中包括一台Master服务器和两台Slave服务器。具体环境...
本章节主要介绍如何在 CentOS 6.5 系统上搭建 Hadoop 2.2.0 的开发环境，并进行编译。 ##### 1.1 安装 JDK 在编译 Hadoop 前，首先需要安装 JDK 并配置其环境变量。这里以 jdk-7u79-linux-x64 版本为例： 1. **...
内容概要：本文详细介绍了永磁同步电机(PMSM)三闭环控制系统的仿真建模方法及其参数优化技巧。首先阐述了三闭环控制的整体架构，即位置环、速度环和电流环的层级关系，并解释了每个环节的作用。接着展示了各环的具体实现代码，如电流环的PI控制器、速度环的前馈控制以及位置环的限幅处理。文中强调了调参的重要性和注意事项，提供了具体的参数选择依据和调试建议。最后分享了一些实用的仿真技巧，如死区补偿、故障注入等，确保模型能够应对实际工况。 适合人群：从事电机控制研究的技术人员、研究生及以上水平的学生，特别是对永磁同步电机三闭环控制感兴趣的读者。 使用场景及目标：适用于需要深入了解PMSM三闭环控制原理并进行仿真实验的研究人员和技术开发者。目标是帮助读者掌握如何构建高效的三闭环控制系统，提高电机性能，降低能耗，增强系统的鲁棒性和可靠性。 其他说明：文中提供的代码片段和参数配置均基于MATLAB/Simulink平台，建议读者在实践中结合实际情况调整参数，以获得最佳效果。同时，附带的参考资料也为进一步学习提供了指导。
光电材料仿真，电子仿真等；从入门到精通教程；含代码案例解析。
内容概要：本文详细介绍了利用PFC3D5.0进行滑坡致灾与建筑物易损性分析的完整代码实现。首先，通过Python和Fish语言构建了滑坡体和建筑物的模型，设置了关键参数如密度、刚度、摩擦系数等，确保滑坡体能够真实模拟滑坡行为。其次，针对建筑物的不同部位（楼板、墙体、支柱），采用不同的材料特性进行建模，并加入了实时监测系统，用于记录滑坡过程中各部件的应力、应变以及冲击力的变化情况。此外，还实现了冲击力监测、损伤评估等功能，能够自动触发应急分析并在模拟结束后生成详细的损伤报告。最后，通过对多次模拟结果的数据处理，生成了建筑物的易损性曲线，验证了模型的有效性和准确性。 适合人群：从事地质灾害研究、土木工程、结构安全评估的研究人员和技术人员。 使用场景及目标：适用于滑坡灾害预测、建筑设计优化、抗震防灾等领域。通过模拟不同条件下滑坡对建筑物的影响，帮助研究人员更好地理解滑坡致灾机理，为制定有效的防护措施提供科学依据。 其他说明：文中提供了大量实用的小技巧，如调整参数以获得更好的模拟效果、优化计算效率等。同时强调了模型验证的重要性，确保研究成果具有较高的可信度。
编译httpserver 通过后记录的
光电材料仿真，电子仿真等；从入门到精通教程；含代码案例解析。
内容概要：本文详细探讨了在Android平台上进行图像模板匹配的技术挑战和解决方案，特别是在处理不同尺寸和旋转角度的目标物时的方法。文中介绍了使用OpenCV构建图像金字塔、处理旋转模板以及利用NEON指令集优化性能的具体实现。此外，文章还讨论了在armeabi-v7a和arm64-v8a这两种主要ARM架构下的优化技巧，如内存对齐、SIMD指令优化、RenderScript并行处理等。作者分享了许多实践经验，包括如何避免常见的性能瓶颈和兼容性问题。 适合人群：有一定Android开发经验，尤其是熟悉OpenCV和NDK编程的中级及以上开发者。 使用场景及目标：适用于需要在移动设备上进行高效图像识别的应用开发，如实时视频流中的物体检测、游戏内的道具识别等。目标是提高模板匹配的速度和准确性，同时确保在不同硬件配置下的稳定性和兼容性。 其他说明：文章提供了丰富的代码片段和实际案例，帮助读者更好地理解和应用所介绍的技术。特别强调了在不同ARM架构下的优化策略，为开发者提供了宝贵的参考资料。
光电材料仿真，电子仿真等；从入门到精通教程；含代码案例解析。
内容概要：本文详细介绍了利用COMSOL软件模拟电晕放电离子风的过程。首先解释了电晕放电的基本概念，即在高压电场下电极周围空气被电离形成离子风。接着阐述了如何在COMSOL中建立针-板电极结构的三维模型，涉及静电、层流和稀物质传递三个物理场的设置。文中提供了具体的MATLAB代码片段用于初始化模型、定义几何体、设置边界条件、配置物理参数、进行网格划分以及求解模型。此外，还讨论了求解过程中可能出现的问题及解决方法，如收敛技巧、网格划分策略等。最后强调了通过模拟获得的电场分布、气流速度和离子浓度等结果对于理解和优化电晕放电离子风设备的重要性。 适用人群：对电晕放电现象感兴趣的科研人员和技术开发者，尤其是那些希望深入了解多物理场耦合仿真技术的人群。 使用场景及目标：适用于需要研究电晕放电离子风特性的场合，如空气净化装置、散热设备等领域的产品设计与性能评估。目标是帮助用户掌握如何使用COMSOL软件构建并求解电晕放电离子风模型，从而更好地理解相关物理机制。 其他说明：文中提到的实际操作细节和遇到的技术挑战有助于新手避免常见错误，提高建模效率。同时，提供的具体参数设置和代码示例也为进一步深入研究奠定了基础。
内容概要：本文详细介绍了多模态属性级情感分析的技术原理及其应用场景。首先解释了多模态属性级情感分析的意义，即通过结合文本和图像信息来更全面地理解用户情感。接着阐述了数据预处理方法，如使用BERT进行文本编码和ResNet处理图像。然后深入探讨了模型架构，包括双流网络结构和特征融合策略，以及如何通过跨模态注意力机制实现更好的特征对齐。此外，文中还分享了多个实战案例，如电商广告投放系统中如何利用该技术提高转化率，以及在处理用户评价时遇到的问题和解决办法。最后讨论了一些常见的技术挑战，如模态间权重调整、背景干扰物处理等。 适合人群：从事自然语言处理、计算机视觉研究的专业人士，尤其是希望将这两种技术结合起来进行情感分析的研究者和技术开发者。 使用场景及目标：适用于电商平台、社交媒体平台等需要分析用户反馈的场景，旨在帮助企业更好地理解消费者的真实想法，从而优化产品和服务。通过这种方式，企业可以发现潜在的市场机会并改进营销策略。 其他说明：文章不仅提供了理论指导，还包括具体的代码实现示例，有助于读者快速上手实践。同时强调了实际应用中的注意事项，如数据清洗、模型调优等方面的经验教训。
内容概要：本文详细介绍了5MW海上永磁风电直驱系统的Simulink仿真过程，涵盖矢量控制、混合储能系统以及并网逆变器的设计与调试。首先，文章解释了系统架构，包括永磁电机、两电平并网变流器和混合储能模块。接着，深入探讨了矢量控制中的坐标变换、PI参数设置及其对电网波动的影响。对于混合储能系统，文章讨论了滑动平均滤波用于功率分配的方法，确保超级电容和锂电池的有效协同工作。此外，文章还涉及并网逆变器的控制策略，特别是变参数PI控制和死区时间补偿，以应对复杂的电网环境。最后，通过仿真结果展示了系统的高效性和稳定性。 适合人群：从事电力电子工程、风电系统设计与仿真的工程师和技术研究人员。 使用场景及目标：适用于希望深入了解海上风电系统仿真技术的专业人士，旨在提高对矢量控制、混合储能和并网逆变器的理解，从而优化实际应用中的系统性能。 其他说明：文中提供了多个MATLAB代码片段，帮助读者更好地理解和复现相关控制算法。同时，强调了仿真过程中遇到的实际问题及解决方案，如风速突变、电网电压跌落等情况下的系统响应。
光电材料仿真，电子仿真等；从入门到精通教程；含代码案例解析。
该资源为natsort-5.4.0-py2.py3-none-any.whl，欢迎下载使用哦！
内容概要：本文详细介绍了双馈风力发电机（DFIG）的矢量控制仿真模型，特别是定子侧和转子侧的控制策略。定子侧采用电压定向矢量控制，通过双闭环结构（外环控制直流侧电压，内环控制电流），确保功率因数为1。转子侧采用磁链定向矢量控制，同样基于双闭环结构（外环控制功率，内环控制电流），并引入前馈电压补偿提高响应速度。文中提供了具体的PI控制器代码实现，并讨论了仿真模型的搭建方法，如使用Python的scipy库进行动态响应模拟。此外，文章还提到了一些常见的仿真问题及解决方案，如crowbar保护电路、最大功率跟踪算法和低电压穿越模块等。 适合人群：从事风电系统设计、控制算法开发的研究人员和技术人员，以及对电力电子控制系统感兴趣的工程师。 使用场景及目标：适用于希望深入了解DFIG矢量控制原理和实现细节的专业人士，帮助他们掌握定子侧和转子侧的具体控制策略，优化仿真模型，解决实际工程中的问题。 其他说明：文章不仅提供了理论分析，还包括了大量的代码片段和实践经验，有助于读者更好地理解和应用相关技术。
内容概要：本文详细介绍了利用Python进行煤矿瓦斯气驱过程中二氧化碳和氮气的应用方法和技术细节。首先展示了如何通过Python脚本处理气驱压力监测数据并绘制对比图，接着讲解了注气速率控制的PID算法实现及其注意事项。文中还涉及裂隙气体扩散模拟、湿度对氮气驱替的影响以及基于状态机的注气控制系统设计。此外，提供了实时气体浓度监控、数据滤波、阈值报警等功能的具体实现方式，并强调了数据可视化的应用价值。最后讨论了注气孔布置优化和注气压力控制的实际操作要点。 适合人群：从事煤矿开采及相关领域的技术人员、工程师，尤其是具有一定编程基础并对自动化控制感兴趣的从业者。 使用场景及目标：适用于煤矿瓦斯气驱项目的规划、实施与维护阶段，旨在提高瓦斯抽采效率，确保安全生产，同时减少人为因素导致的操作失误。通过学习本文提供的代码示例和技术方案，读者能够掌握如何运用Python解决实际工程问题的方法。 其他说明：文中提到的所有代码均为简化版本，用于解释相关概念和技术原理，在实际项目中可能需要进一步完善和优化。对于希望深入了解该领域的读者而言，本文不仅提供了实用的技术指导，也为后续研究奠定了良好的基础。
光电材料仿真，电子仿真等；从入门到精通教程；含代码案例解析。
街道级行政区划边界，wgs84坐标系，shp数据，直接分析使用。
字节码.md