Linux下安装Hadoop的方法

前置条件

1. Java环境：Hadoop需要Java 8或更高版本
2. Linux系统：推荐使用Ubuntu、CentOS等主流发行版
3. SSH配置：需要配置无密码SSH访问

安装步骤

1. 安装Java

sudo apt update
sudo apt install openjdk-8-jdk -y
# 验证安装
java -version

2. 创建Hadoop用户（可选但推荐）

sudo adduser hadoop
sudo usermod -aG sudo hadoop
su - hadoop

3. 配置SSH免密登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
# 测试SSH
ssh localhost

4. 下载并安装Hadoop

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz
sudo mv hadoop-3.3.4 /usr/local/hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop

5. 配置环境变量

编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

然后执行：

source ~/.bashrc

6. 配置Hadoop

编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

配置核心文件

编辑$HADOOP_HOME/etc/hadoop/core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///usr/local/hadoop/data/datanode</value>
    </property>
</configuration>

7. 格式化HDFS

hdfs namenode -format

8. 启动Hadoop

start-dfs.sh

9. 验证安装

jps
# 应该看到以下进程：
# NameNode
# DataNode
# SecondaryNameNode

访问Web界面： - NameNode: http://localhost:9870 - DataNode: http://localhost:9864

可选配置

YARN配置（如果需要）

编辑$HADOOP_HOME/etc/hadoop/mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

编辑$HADOOP_HOME/etc/hadoop/yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

启动YARN：

start-yarn.sh

注意事项

1. 根据实际Java安装路径调整JAVA_HOME
2. 多节点集群需要额外配置
3. 生产环境需要更详细的安全和性能配置
4. 内存不足的机器可能需要调整Hadoop内存配置

以上是在Linux系统上安装Hadoop单节点集群的基本步骤。对于生产环境，您需要根据实际需求进行更详细的配置和优化。