`
韩悠悠
  • 浏览: 842026 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

hadoop学习2-----linux环境搭建

 
阅读更多

 

完成了基础配置,安装vsftpd
 
vsftpd是一个linux下的ftp服务器
 
首页检测是否安装了vsftp
chkconfig -- list | grep vsftpd
 
如果没有任何反应,表示没有安装,
 
yum -y install vsftpd 
 
如果提示如下(一般发生在红帽中):
 this system is not registered with RHN
则进行如下处理
红帽中出现This system is not registered with RHN这个的原因是因为红帽中没有注册RHN。解决办法:(假定你已安装yum,且网络畅通)更改yum的源,即更换/etc/yum.repos.d /rhel-debuginfo.repo 这个文件。进入/etc/yum.repos.d/目录,终端中输入wget http://docs.linuxtone.org/soft/lemp/CentOS-Base.repo即可在此目录下得到CentOS- Base.repo文件,这是centos的源文件,只需将其重命名为rhel-debuginfo.repo即可,以前的文件做个备份。
 
如果不能通过wget下载成功,则下载到window,然后传输到linux,
window向linux传输文件,建议使用winscp
 
完成上面的错误解决,继续执行命令重新安装vsftpd
 
yum -y install vsftpd,
 
vsftpd安装成功后,创建vsftpd日志文件
touch /var/log/vsftpd.log
 
备注:touch可以新建一个空文件,可以修改文件的创建时间。比如:编译时看到提示文件的时间为将来的时间,可以使用touch命令来修改。
 
2、启动与配置自启动
 
使用"chkconfig --list | grep vsftpd" 来查看vsftpd服务启动情况;
如果服务全部是off,表示没有启动
 
使用下面的命令启动
chkconfig vsftpd on或者
chkconfig -level2345 vsftpd on
 
执行完命令,启动成功。
 
备注:查看与管理ftp服务:
启动ftp服务:service vsftpd start
查看ftp服务状态:serice vsftpd status
重启ftp服务:service vsftpd restart
关闭ftp服务:service vsftpd stop
 
下面配置vsftpd服务器
 
3、配置vsftpd服务
编辑/etc/vsftpd/vsftpd.conf文件,配置命令如下;
vi /etc/vsftpd/vsftpd.conf
 
修改信息如下:
anonymous_enable=YES修改为anonymouns_enable=NO //不允许匿名访问
xferlog_file=/var/log/vsftpd.log //设定vsftpd的服务日志保存路径
async_abor_enable=YES //默认的注释去掉
ascii_upload_enable=YES//默认的注释去掉
ascii_download_enable=YES//默认注释去掉
ftpd_banner=welcome to blah ftp service//默认欢迎语,去不去都可以
chroot_local_user=YES,禁止本地用户登录,去掉注释
其他默认
修改完成保存
 
 
4、配置iptables防火墙
 
输入命令
service iptables status
查看是否存在20,21端口,如果不存在,则需要配置
修改"/etc/sysconfg/iptables"
 
ls /etc/sysconfig | grep iptables
列出iptables 相关的文件
vi /etc/sysconfig/iptables
在 -A INPUT - m state --state NEW -m tcp -p tcp --dport 22 -i ACCEPT
下面增加俩段内容:
-A INPUT - m state --state NEW -m tcp -p tcp --dport 21 -j ACCEPT
-A INPUT - m state --state NEW -m tcp -p tcp --dport 20 -j ACCEPT
 
5、设置selinux问题
首先查看当前能否访问ftp,使用下面的命令
getsebool -a | grep ftp
如果看到ftp_xx--> off
表示不能访问,修改方式如下:
 
setsebool -P ftp_home_dir 1
setsebool -P allow_ftpd_full_access 1
 
然后再输入getsebool -a | grep ftp
 
6、重启相关服务
重启vsftpd和iptables
service vsftpd restart
service iptables restart
 
7、下载flashFXP使用连接
 
如果不知道怎么连接,在linux下简历普通用户即可
如下:
useradd hadoop
passwd hadoop

 

分享到:
评论

相关推荐

    hadoop插件apache-hadoop-3.1.0-winutils-master.zip

    然而,通过特定的Windows适配器,如`winutils.exe`,用户可以在Windows系统上搭建Hadoop环境。 标题中的"apache-hadoop-3.1.0-winutils-master.zip"是一个针对Windows用户的Hadoop工具包,它包含了运行Hadoop所需的...

    apache-hadoop-3.1.0-winutils-master.zip

    在Windows上搭建Hadoop开发或测试环境时,`winutils.exe`是不可或缺的一部分。 以下是`winutils.exe`在Hadoop环境中的一些主要用途: 1. **配置环境**:`winutils.exe`帮助用户配置Hadoop的环境变量,如`HADOOP_...

    apache-hadoop-3.1.3-winutils-master.zip

    总之,这个压缩包提供了在Windows系统上搭建和使用Hadoop HDFS客户端的基础,使开发者和数据工程师能够在非Linux环境中参与到Hadoop的分布式计算中。通过正确配置和使用这些工具,可以实现对HDFS的有效访问和管理,...

    hadoop-common-2.7.3-bin-master包含hadoop.dll、winutils.exe

    总的来说,`hadoop-common-2.7.3-bin-master`包含的`hadoop.dll`和`winutils.exe`对于在Windows系统上搭建和使用Hadoop环境至关重要。理解这两个文件的作用和配置方法,可以帮助开发者在非Linux环境下顺利进行Hadoop...

    hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop2.2需要的winutils.exe)

    `winutils.exe`是Hadoop在Windows环境下运行必不可少的一部分,它提供了类似于Linux环境下的`hadoop`命令行工具,如设置HDFS目录权限、启动或停止Hadoop服务等。在Windows上搭建Hadoop环境时,往往需要将`winutils....

    hadoop-common-2.7.1-bin-master-master.zip

    通过对这个压缩包的理解和使用,用户可以在Windows平台上顺利搭建和运行Hadoop环境,进一步探索大数据处理的世界。 总之,Hadoop Common 2.7.1提供的bin目录工具对于Hadoop在Windows环境中的运行至关重要,尤其是...

    hadoop-3.1.0-winutils-master(1).zip

    总的来说,"hadoop-3.1.0-winutils-master(1).zip"提供的是一套适用于Windows的Hadoop工具,它使得在Windows环境中搭建和运行Hadoop集群成为可能。通过理解Hadoop的基本原理、WinUtils的作用以及如何配置和使用这些...

    第2集-Hadoop环境搭建 - linux(centos7) - 安装配置jdk1.8.pdf

    Hadoop 环境搭建 - Linux(CentOS7)- 安装配置 JDK1.8 本文档主要介绍了在 CentOS7 环境下搭建 Hadoop 环境,包括安装配置 JDK1.8 的过程。下面是相关知识点的总结: 一、删除自带的 OpenJDK 在 CentOS7 中,...

    linux-32-eclipse-kepler-hadoop-1.1.2-eclipse-plugin.rar

    5. **安装与配置**:使用这个压缩包,开发者需要首先在32位Linux环境下安装Eclipse Kepler,然后将提供的插件导入到Eclipse中,按照指定步骤进行配置,以实现Hadoop开发环境的搭建。 6. **应用场景**:此组合常用于...

    第3集-Hadoop环境搭建 - linux(centos7) - 安装配置hadoop2.7.7.pdf

    "Hadoop环境搭建 - Linux(CentOS7) - 安装配置Hadoop2.7.7" 本文将详细介绍如何在Linux(CentOS7)环境中搭建Hadoop环境,包括安装和配置Hadoop2.7.7的步骤。 Hadoop概述 Hadoop是Apache基金会下的一个开放源...

    第7集-Hadoop环境搭建 - linux(centos7) - 安装配置hive2.1.1.pdf

    ### Hadoop环境搭建之Hive 2.1.1配置详解 #### 一、概述 在构建大数据处理环境时,Apache Hive 是一个重要的组件,它提供了SQL查询功能,使用户能够方便地对存储在Hadoop文件系统(HDFS)中的大规模数据集进行数据...

    hadoop-2.7.4-with-centos-6.7.tar.gz

    这个压缩包表明,它已经过实际测试,可以在CentOS 6.7上顺利运行,对于学习和搭建Hadoop环境的人来说非常方便。 Hadoop的安装和配置过程通常涉及多个步骤,包括环境变量设置、JDK安装、Hadoop配置文件修改、启动...

    hadoop-eclipse-plugin-2.2.0.zip

    无论操作系统环境如何,只需在Eclipse中安装并配置好插件,开发者就能在熟悉的开发环境中进行Hadoop应用开发,避免了频繁切换至命令行界面的繁琐操作。 安装Hadoop Eclipse Plugin 2.2.0的过程相对简单。首先,将...

    linux-jdk-1.7+hadoop-eclipse-plugin2.6.0.zip

    4. **Linux环境下的配置**:在Linux环境下搭建Hadoop开发环境,需要安装JDK,设置环境变量,确保Java可执行文件路径正确。同时,将Hadoop-Eclipse-Plugin的jar文件添加到Eclipse的plugins目录下,或者通过Eclipse的...

    第5集-Hadoop环境搭建 - linux(centos7) - 安装配置scala2.11.8.pdf

    "Hadoop 环境搭建 - Linux(CentOS7)- 安装配置 Scala 2.11.8" 本文主要讲述如何在 CentOS7 环境下搭建 Hadoop 环境,并安装配置 Scala 2.11.8。下面是相关知识点的总结: 1. Hadoop 环境搭建 在 CentOS7 环境下...

    hadoop-common--bin 包含hadoop.dll、winutils.exe

    标题中的"hadoop-common--bin"指的是Hadoop的公共库,这个包主要包含了Hadoop在Windows系统上运行所需的一些核心组件,特别是...了解并掌握这些内容,能帮助他们更有效地在非Linux环境下搭建和管理Hadoop集群。

    hadoop-common-2.6.0-master.zip

    对于Windows用户,由于Hadoop最初是为Linux设计的,因此在Windows环境下搭建Hadoop环境可能会遇到一些挑战。hadoop-common-2.6.0-bin-master目录包含了运行Hadoop所需的所有二进制文件和脚本,包括配置文件、可执行...

Global site tag (gtag.js) - Google Analytics