`
xiejin2008
  • 浏览: 125431 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop实验第一天

 
阅读更多

防火墙关闭
chkconfig iptables off
chkconfig iptables on

Java环境变量
仅对某用户生效:


[hadoop@localhost ~]$ ls -la
[hadoop@localhost ~]$ vi .bash_profile

 

     //修改用户目录下的.bash_profile文件

     $ vi /home/hadoop/.bash_profile
 
     //在文件最后添加下面的内容

     export JAVA_HOME = /home/hadoop/lab/jdk1.7.0_71
     export PATH = $JAVA_HOME/bin:$PATH
     export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

     [注]:修改文件后如果想马上生效,还要运行 #source /home/myuser/.bash_profile

SCP 命令  远程复制

MAC地址缓存了,所以eth0配置的MAC打不到
更好的解决方案是:rm /etc/udev/rules.d/70-persistent-net.rules删除网络配置缓存文件


#虚拟机克隆之后,MAC地址可能不会变,在NAT网络高级设置,重新生成MAC地址,重启虚拟机。

#使用NAT配置固定IP
#先查看当前可用网卡: cat /proc/net/dev  查看设备
#查看MAC地址配置信息:cat /etc/udev/rules.d/70-persistent-net.rules
#使用 setup命令进行网络设置 ,将设备设置成ifconfig对应的设备


#安装rz ,sz
#自动安装 
yum install lrzsz


在hosts中不要配置127.0.0.1 映射 主机名

[hadoop@SY-0130 hadoop-2.6.0]$ netstat -na | grep 8088

 

分享到:
评论

相关推荐

    基于hadoop对某网站日志分析部署实践课程设计报告参考模板.doc

    - 第一步:部署Hadoop环境,包括安装VMware作为虚拟化平台,准备源数据。 - 第二步:编写并运行使用Python编写的Mapper和Reducer程序,对日志数据进行预处理。 - 第三步:创建Hive数据库,将处理后的数据导入Hive,...

    熟悉常用的Linux操作和Hadoop操作

    为了更好地进行后续的上机实验,我们有必要提前熟悉常用的Linux系统操作以及Hadoop的基本操作。通过本次实验,可以掌握Linux环境下文件与目录的基本管理命令,以及如何在Hadoop分布式文件系统(HDFS)中进行文件的操作...

    Hadoop大数据技术-实验1-熟悉常用的 Linux 操作和 Hadoop .docx

    ### Hadoop大数据技术-实验1-熟悉常用的 Linux 操作和 Hadoop #### 实验背景与目标 随着大数据技术的发展,Hadoop作为主流的大数据处理框架之一,在数据分析领域扮演着极其重要的角色。由于Hadoop主要运行在Linux...

    大数据技术原理与应用【林子雨】上机实验一

    本实验是《大数据技术原理与应用》课程中的第一次实践操作,主要目的是帮助学生熟悉并掌握在大数据处理中最基础的操作系统——Linux的基本命令以及Hadoop的基本操作。这些技能对于后续的大数据处理实验至关重要。 #...

    基于Hadoop架构的多重分布式BP神经网络的短期负荷预测方法.docx

    第一章 引言: 1.1 研究背景: 随着社会经济的发展,电力系统的负荷需求日益复杂,准确的短期负荷预测对于电力系统的运行管理和调度决策至关重要。传统的预测方法如时间序列分析、回归分析等,在面对大规模、复杂的...

    大数据技术原理与应用(实验)

    本实验旨在通过一系列实际操作加深对Linux基础命令及Hadoop集群管理的理解,熟悉常用命令的操作方法及其应用场景,为后续大数据处理任务打下坚实的基础。 #### 实验环境 - **操作系统**: Ubuntu - **Hadoop版本**: ...

    mapreduce项目 数据清洗

    MapReduce通常与Hadoop生态系统一起使用,Hadoop提供了一个分布式文件系统(HDFS)来存储大数据,以及YARN资源管理器来协调计算任务。在这个项目中,数据可能存储在HDFS上,由YARN调度执行MapReduce作业。 5. **...

    HBase相关资料.zip

    这是一个第一天的HBase教学材料,可能涵盖了HBase的基本概念、安装配置、数据操作(增删改查)、数据模型(行、列族、列、时间戳)和查询语言HBase Shell的使用。此外,可能会介绍到HBase的表分区策略、性能优化和...

    HBase安装与应用编程.docx

    遇到问题时,例如第二天打开 HBase Shell 发现无法正常工作,这可能是因为服务没有正确启动或配置文件出现问题。检查 HBase 服务状态,如果已停止,重新启动 HBase(`start-hbase.sh`),如果配置文件有误,检查并...

    10个开源的顶级人工智能工具.docx

    它的高效性能使得它在研究人员和企业用户中备受青睐,能在一天内仅用一个NVIDIA K40 GPU处理超过6000万个图像。 2. CNTK(Computational Network Toolkit):微软的开源AI工具,可在单CPU、单GPU、多GPU或跨多台...

    天池大数据比赛练习.zip

    1. **数据预处理**:这通常是数据分析的第一步,包括数据清洗、缺失值处理、异常值检测和转换等。Python的Pandas库是常用的工具。 2. **数据探索性分析**(EDA):通过统计图表和可视化来理解数据的分布、关联性和...

    数据科学职业路线Data-Science-Careers-Guide

    在实际工作中,数据科学家的一天可能涉及到与团队合作、编写代码、运行实验以及与管理层沟通项目进展。 为了成为数据科学家,你需要学习一系列关键技能。首先,具备分析思维至关重要,这包括逻辑推理和解决问题的...

Global site tag (gtag.js) - Google Analytics