Hadoop集群部署教程-P3

Hadoop集群部署教程（续）

第九章：Hadoop集群监控与管理

9.1 监控工具配置

1. Hadoop内置Web UI

   • NameNode UI: http://master:9870​
   • ResourceManager UI: http://master:8088​
   • 可查看集群资源使用、节点状态和作业详情

2. 日志聚合配置
   在yarn-site.xml​中添加：

   <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
   </property>
   <property>
     <name>yarn.nodemanager.remote-app-log-dir</name>
     <value>/tmp/logs</value>
   </property>
   

9.2 日常维护命令

1. 节点管理

   # 添加新节点
   hdfs dfsadmin -refreshNodes
   yarn rmadmin -refreshNodes
   
   # 退役节点
   hdfs dfsadmin -decommission <datanode_hostname>
   

2. 空间管理

   # 查看HDFS使用情况
   hdfs dfs -df -h
   
   # 清理临时文件
   hdfs dfs -expunge
   

第十章：性能优化配置

10.1 内存调优

1. 修改​​yarn-site.xml​​

   <property>
     <name>yarn.nodemanager.resource.memory-mb</name>
     <value>8192</value> <!-- 根据物理内存调整 -->
   </property>
   <property>
     <name>yarn.scheduler.maximum-allocation-mb</name>
     <value>8192</value>
   </property>
   

2. 修改​​mapred-site.xml​​

   <property>
     <name>mapreduce.map.memory.mb</name>
     <value>2048</value>
   </property>
   <property>
     <name>mapreduce.reduce.memory.mb</name>
     <value>4096</value>
   </property>
   

10.2 并行度优化

1. 控制Reduce任务数

   // 在MapReduce作业中设置
   job.setNumReduceTasks(10); // 根据集群规模调整
   

2. 压缩配置

   <!-- 在core-site.xml中 -->
   <property>
     <name>io.compression.codecs</name>
     <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec</value>
   </property>
   

第十一章：安全配置

11.1 基础安全措施

1. 启用HDFS权限

   # 在hdfs-site.xml中
   <property>
     <name>dfs.permissions.enabled</name>
     <value>true</value>
   </property>
   

2. 网络隔离

   • 配置防火墙只允许集群节点间通信
   • 禁用不必要的服务端口

11.2 Kerberos认证（高级）

1. 配置步骤：

   • 安装KDC服务器
   • 创建Hadoop服务principal
   • 配置core-site.xml​和hdfs-site.xml​中的安全参数

第十二章：备份与恢复

12.1 元数据备份

1. NameNode元数据备份

   # 定期备份以下目录：
   /hadoop/hdfs/namenode/current/fsimage_*
   /hadoop/hdfs/namenode/current/edits_*
   

2. 启用Secondary NameNode

   <!-- 在hdfs-site.xml中 -->
   <property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>secondary_namenode_host:50090</value>
   </property>
   

12.2 数据恢复流程

1. NameNode恢复：

   hdfs namenode -importCheckpoint
   

2. 数据节点恢复：

   • 替换故障节点
   • 重新加入集群

来源链接：https://www.cnblogs.com/nyanonCat/p/18828596/hadoop-cluster-deployment-tutorialp3-2pgbij