在CentOS系統(tǒng)上部署Hadoop分布式文件系統(tǒng)(HDFS)需要多個(gè)步驟，以下指南簡(jiǎn)述了單機(jī)模式下的配置過(guò)程。 完整集群部署更為復(fù)雜。

1. Java環(huán)境配置

首先，確保系統(tǒng)已安裝Java。使用以下命令安裝OpenJDK：

yum install -y java-1.8.0-openjdk-devel

配置Java環(huán)境變量：

echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> /etc/profile
echo "export PATH=$JAVA_HOME/bin:$PATH" >> /etc/profile
source /etc/profile
java -version

2. SSH免密登錄設(shè)置

為了節(jié)點(diǎn)間無(wú)縫通信，需配置SSH免密登錄。

1. 生成SSH密鑰對(duì)：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

2. 將公鑰復(fù)制到所有節(jié)點(diǎn) (此處僅為單機(jī)配置，故省略此步驟)：

3. Hadoop下載與解壓

從Apache Hadoop官網(wǎng)下載Hadoop發(fā)行版，并解壓到指定目錄：

wget https://downloads.apache.org/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gz
tar -zxvf hadoop-3.1.3.tar.gz
mv hadoop-3.1.3 /opt/hadoop

4. Hadoop環(huán)境變量配置

編輯/etc/profile文件，添加以下環(huán)境變量：

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
source /etc/profile

5. Hadoop配置文件修改

core-site.xml

編輯/opt/hadoop/etc/hadoop/core-site.xml，添加以下內(nèi)容 (將192.168.1.1替換為你的主機(jī)IP)：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.1.1:9000</value>
  </property>
</configuration>

hdfs-site.xml

編輯/opt/hadoop/etc/hadoop/hdfs-site.xml，添加以下內(nèi)容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/hdfs/datanode</value>
  </property>
</configuration>

6. NameNode格式化

格式化NameNode：

/opt/hadoop/bin/hdfs namenode -format

7. HDFS啟動(dòng)

啟動(dòng)HDFS服務(wù)：

/opt/hadoop/sbin/start-dfs.sh

8. HDFS狀態(tài)驗(yàn)證

檢查HDFS狀態(tài)：

jps

你應(yīng)該看到NameNode和DataNode進(jìn)程運(yùn)行。

9. HDFS Web UI訪問(wèn)

訪問(wèn)http://192.168.1.1:50070 (將192.168.1.1替換為你的主機(jī)IP) 查看HDFS Web界面。

本指南僅供單機(jī)HDFS配置參考。 多節(jié)點(diǎn)集群部署需要額外配置ZooKeeper、Secondary NameNode等，并確保所有節(jié)點(diǎn)配置文件一致。

以上是如何快速配置CentOS HDFS的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！