Hadoop 2.2 安装指南

虚拟机安装

• 使用合适的虚拟化平台（如VMware、VirtualBox）安装CentOS 6.3 64位系统。
• 确保虚拟机的网络配置正确，IP地址设置合理，防火墙规则开放必要端口。

VMware Tools 安装

• 在虚拟机中安装VMware Tools，确保硬件兼容性和性能优化。
• 运行vmware-configurator-2脚本，根据需要配置网络和存储设置。

网络配置

• 设置静态IP地址，确保主机和虚拟机之间的互联。
• 检查防火墙规则，确保关键端口（如22、8081等）开放。

网络测试

• 使用ping命令验证主机与虚拟机之间的连接。
• 如果反向连接不畅，检查防火墙设置或网络路由是否正确。

修改计算机名

• 打开终端，运行以下命令修改计算机名：

vi /etc/sysconfig/network hostname=your_hostname

重启系统后，新名称才会生效。

Hadoop 3.x 的网络配置

• 在Hadoop 3.x 版本中，推荐使用Nat模式。
• 如果出现主机与虚拟机通信问题，可以尝试更改为桥模式，确保IP地址一致性。

FTP 服务配置

• 启动vsftpd服务：

systemctl start vsftpd

• 在本地访问FTP服务时无需额外配置，但远程主机访问可能需要防火墙调整。

共享文件

• 使用WinSCP等工具通过FTP协议传输文件。
• 确保文件共享路径和权限设置正确。

SSH配置

• 启动SSH服务：

systemctl start sshd

• 设置免密码SSH登录：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

• 重启SSH服务：

systemctl restart sshd

网络测试

• 如果出现节点之间的ping失败，首先检查网络接口是否正常：

ip addr

• 确保防火墙规则允许Hadoop组件之间的通信。

集群内通信

• 使用netstat -tuln | grep 8081 确认 ResourceManager 的监听端口是否开放。
• 检查网络防火墙，确保集群内部通信（如TaskTracker与ResourceManager通信）没有被阻挡。

下载并安装Java 7

• 下载Java 7的RPM包并安装：

yum install -y http://mirror.centos.org/centos/6-stream.repoyum install java-1.7.0-40

• 或者从Oracle官方网站下载并安装。

配置环境变量

• 打开/etc/profile文件，添加以下内容：

JAVA_HOME=/usr/java/jdk1.7.0_40PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/tools.jarexport JAVA_HOME PATH CLASSPATH

• 保存后执行：

source /etc/profile

验证Java版本

java -version

节点配置

• 确定节点角色（如NameNode、DataNode、ResourceManager、CapacityScheduler等）。
• 修改每个节点的IP地址和hostname，确保集群内通信正常。

格式化NameNode

• 进入Hadoop根目录，运行：

./bin/hdfs namenode -format

• 格式化完成后，检查日志文件，确保没有错误提示。

启动集群服务

• 启动集群组件：

./sbin/start-dfs.sh./sbin/start-yarn.sh

• 等待所有服务正常启动，验证集群状态。

验证集群状态

• 查看NameNode状态：

jps

• 确认NameNode和ResourceManager是否正常运行。

数据节点加入集群

• 在DataNode节点上运行以下命令：

hdfs dfsadmin -report

• 查看日志文件，确保数据节点能够成功加入集群。

HDFS格式化失败

• 原因：格式化过程中发现旧的HDFS元数据文件。
• 解决方法：清理旧的HDFS元数据文件：

cd /logsrm -rf *rm -rf ./*

• 确保HDFS根目录权限正确：

chmod -R 777 /apps/hadoop/

SSH免密码登录问题

• 原因：SSH配置文件权限不足。
• 解决方法：

chmod 700 ~/.sshchmod 644 ~/.ssh/authorized_keys

• 重启SSH服务：

systemctl restart sshd