news 2026/7/7 14:24:29

yarn的jobHistory日志介绍

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
yarn的jobHistory日志介绍

好的,我们来详细介绍一下 YARN 中的 JobHistory 日志。

我们在YARN运行MapReduce的程序的时候,任务会被分发到不同的节点,在不同的Container内去执行。如果一个程序执行结束后,我们想去查看这个程序的运行状态呢?每一个MapTask的执行细节?每一个ReduceTask的执行细节?这个时候我们是查看不到的,因此我们需要开启记录历史日志的服务。

1.JobHistory Server 的作用

JobHistory Server (JHS) 是 YARN 的一个关键服务组件,主要负责:

  • 存储已完成作业的历史信息:当应用程序(如 MapReduce 作业)在 YARN 上运行完成后,其运行相关的元数据和日志并不会立即消失。JobHistory Server 负责收集、存储和管理这些信息。
  • 提供历史作业查询接口:用户或管理员可以通过 Web UI 或 REST API 查询已经完成的应用程序的详细信息,包括:
    • 应用程序的配置信息
    • 运行时间线(开始、结束时间)
    • 各个容器(Container)的运行状态和日志
    • 计数器(Counters)信息
    • 任务(Map Task, Reduce Task)的尝试次数、失败原因等

2.日志的生成与聚合

  • 日志产生:在应用程序运行期间,每个运行的容器(通常在每个 NodeManager 节点上)都会产生标准输出(stdout)、标准错误(stderr)以及特定于框架(如 MapReduce)的日志文件(例如syslog)。
  • 日志聚合:YARN 的一个重要特性是日志聚合
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/7 0:40:11

SenseVoice多语言语音理解模型终极指南

SenseVoice多语言语音理解模型终极指南 【免费下载链接】SenseVoice Multilingual Voice Understanding Model 项目地址: https://gitcode.com/gh_mirrors/se/SenseVoice SenseVoice作为先进的多语言语音理解模型,为开发者提供了强大的语音到文本转换能力。在…

作者头像 李华
网站建设 2026/7/7 3:17:58

两挡AMT电动车仿真模型实战手记

两挡AMT纯电动汽车仿真模型,可实现换挡过程模拟/ABS/TCS驱动防滑控制/电池管理等功能 模型可以输入WLTC/CLTC等不同工况,可以实时纯电量管理、换挡过程模拟、ABS防抱死控制、TCS驱动防滑控制、电池管理充放电控制、SOC估计等功能。 各个功能模块高度独立…

作者头像 李华
网站建设 2026/7/7 6:46:15

【读点论文】Depth Anything Unleashing the Power of Large-Scale Unlabeled Data基于dinov2结合MiDas进行深度估计,运用无标签数据

Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data Abstract 这项工作提出了 Depth Anything,这是一种用于鲁棒单目深度估计的高度实用的解决方案。在不追求新颖的技术模块的情况下,我们的目标是建立一个简单而强大的基础模型&#…

作者头像 李华
网站建设 2026/7/7 13:11:52

基于VUE的宿舍报修管理系统[VUE]-计算机毕业设计源码+LW文档

摘要:随着高校后勤管理信息化的发展,宿舍报修管理作为其中的重要环节,传统的管理方式已难以满足高效、便捷的需求。本文旨在设计并实现一个基于VUE框架的宿舍报修管理系统,以提高报修处理的效率和透明度。文章详细阐述了系统的需求…

作者头像 李华
网站建设 2026/7/7 15:05:05

技术变现新思路:漏洞挖掘私活接单经验分享

经常有小伙伴问我: 为什么自己总是挖不到漏洞呢? 渗透到底是什么样的流程呢? 所以全网最详细的渗透测试流程来了!!! 全篇文章内容较长,请耐心观看! 如果想要视频教程自己慢慢学,可以直接拉到文末 渗透测试 渗透测试其实就是通过一些手段来找到网…

作者头像 李华
网站建设 2026/7/7 6:37:10

Wi-Fi® 性能技术

Wi-Fi 的产品组合包括各种具有测量机制的技术,以确保提供高质量的 Wi-Fi 性能。 Wi-Fi Device Metrics Wi-Fi Device Metrics 是一种用于评估网络设备质量的测试工具,它通过测量各种部署场景中的吞吐量、延迟和用户体验来促进标准化方法和统一术语,以帮助表征和评估 Wi-Fi…

作者头像 李华