网站正在建设中......安卓优化大师app下载安装
目录
🧩 一、Hadoop 基础服务管理指令
▶️ 启动 Hadoop
⏹️ 关闭 Hadoop
🧾 查看进程是否正常运行
📁 二、HDFS 常用文件系统指令
🛠️ 三、MapReduce 作业运行指令
📋 四、集群状态监控指令
💡 五、管理员常用 HDFS 命令
包含 Hadoop 启动/关闭、HDFS 基本操作、MapReduce 提交流程等的常用指令大全，适合刚搭建好 Hadoop 环境后进行操作与测试。
🧩 一、Hadoop 基础服务管理指令
▶️ 启动 Hadoop
# 启动 HDFS 和 YARN 所有服务（推荐）
start-dfs.sh
start-yarn.sh# 或使用统一启动脚本（部分版本支持）
start-all.sh
⏹️ 关闭 Hadoop
# 停止 HDFS 和 YARN 所有服务
stop-dfs.sh
stop-yarn.sh# 或使用统一停止脚本
stop-all.sh
🧾 查看进程是否正常运行
jps
# 正常应看到：NameNode、DataNode、ResourceManager、NodeManager 等
📁 二、HDFS 常用文件系统指令
| 功能 | 命令 |
|---|---|
| 查看根目录 | hadoop fs -ls / |
| 创建目录 | hadoop fs -mkdir /user/yourname |
| 上传文件 | hadoop fs -put test.txt /user/yourname/ |
| 下载文件 | hadoop fs -get /user/yourname/test.txt ./ |
| 删除文件 | hadoop fs -rm /user/yourname/test.txt |
| 删除目录 | hadoop fs -rm -r /user/yourname/testdir |
| 查看内容 | hadoop fs -cat /user/yourname/test.txt |
| 查看空间使用 | hadoop fs -du -s /user/yourname/ |
| 拷贝文件 | hadoop fs -cp /src/file.txt /dst/file.txt |
| 移动文件 | hadoop fs -mv /src/file.txt /dst/ |
🛠️ 三、MapReduce 作业运行指令
# 1. 编译 Java 程序并打包为 JAR（假设你写的是 WordCount.java）
javac -classpath `hadoop classpath` -d classes WordCount.java
jar -cvf wordcount.jar -C classes/ .# 2. 上传输入文件
hadoop fs -mkdir /input
hadoop fs -put input.txt /input/# 3. 提交 MapReduce 作业（以 WordCount 为例）
hadoop jar wordcount.jar WordCount /input /output# 4. 查看输出结果
hadoop fs -cat /output/part-r-00000
📋 四、集群状态监控指令
| 功能 | 命令 |
|---|---|
| 查看作业列表 | yarn application -list |
| 查看作业状态 | yarn application -status <app_id> |
| 杀死作业 | yarn application -kill <app_id> |
| 查看节点 | yarn node -list |
| 查看集群资源 | yarn cluster --list |
💡 五、管理员常用 HDFS 命令
# 查看 HDFS 使用状态
hdfs dfsadmin -report# 刷新节点信息（当编辑了 slaves 文件等）
hdfs dfsadmin -refreshNodes# 安全模式检查（启动时只读）
hdfs dfsadmin -safemode get