Hadoop是一个分布式系统，由多个节点组成。在Hadoop集群中，每个节点都会产生大量的日志，包括系统日志、应用程序日志和Hadoop本身的日志等。对于Hadoop管理员和开发人员来说，了解Hadoop日志存放路径非常重要，可以帮助他们快速定位和解决问题。
Hadoop各组件的日志存放路径如下：
- Hadoop守护进程日志
Hadoop守护进程是Hadoop集群的核心组件之一，包括NameNode、Secondary NameNode、DataNode、ResourceManager和NodeManager等。这些组件的日志存放路径如下：
- NameNode：$HADOOP_HOME/logs/hadoop-hadoop-namenode-[hostname].log
- SecondaryNameNode：$HADOOP_HOME/logs/hadoop-hadoop-secondarynamenode-[hostname].log
- DataNode：$HADOOP_HOME/logs/hadoop-hadoop-datanode-[hostname].log
- ResourceManager：$HADOOP_HOME/logs/yarn-hadoop-resourcemanager-[hostname].log
- NodeManager：$HADOOP_HOME/logs/yarn-hadoop-nodemanager-[hostname].log
其中，[hostname]指的是节点的主机名。
- Hadoop应用程序日志
Hadoop应用程序是指基于Hadoop框架开发的应用程序，如MapReduce、Hive、Pig等。这些应用程序的日志存放路径如下：
- MapReduce：$HADOOP_HOME/logs/userlogs/[job_id]/[task_id]/[attempt_id]/syslog
- Hive：$HIVE_HOME/logs/hive.log
- Pig：$PIG_HOME/logs/pig.log
其中，[job_id]指的是作业的ID，[task_id]指的是任务的ID，[attempt_id]指的是尝试的ID。
- Hadoop Web界面日志
Hadoop Web界面是指Hadoop集群的Web界面，包括JobTracker、TaskTracker、NameNode、Secondary NameNode、ResourceManager和NodeManager等。这些界面的日志存放路径如下：
- JobTracker：$HADOOP_HOME/logs/hadoop-hadoop-jobtracker-[hostname].log
- TaskTracker：$HADOOP_HOME/logs/hadoop-hadoop-tasktracker-[hostname].log
- NameNode：$HADOOP_HOME/logs/hadoop-hadoop-namenode-[hostname].log
- SecondaryNameNode：$HADOOP_HOME/logs/hadoop-hadoop-secondarynamenode-[hostname].log
- ResourceManager：$HADOOP_HOME/logs/yarn-hadoop-resourcemanager-[hostname].log
- NodeManager：$HADOOP_HOME/logs/yarn-hadoop-nodemanager-[hostname].log
除了以上的存放路径，Hadoop还提供了一个日志聚合工具——Log Aggregation，可以将每个节点的日志聚合到一个地方，方便管理和查看。聚合后的日志存放在$HDFS/logs/userlogs目录下，每个应用程序集成一个单独的目录。
总结一下，Hadoop的各个组件和应用程序都会产生大量的日志。对于Hadoop的管理员和开发人员来说，了解Hadoop日志的存放路径非常重要，可以帮助他们快速定位和解决问题，提高工作效率。
