请教一下，flink on yarn模式下，怎么对job作业进行指标监控？-[阿里云_云淘科技]

匿名 • 2024年1月4日下午12:21 • 阿里云

请教一下，flink on yarn模式下，怎么对job作业进行指标监控？job整理时延，吞吐量等性能指标想拿jmx看

以下为热心网友提供的参考意见

在Flink on Yarn模式下，对job作业进行指标监控可以通过JMX（Java Management Extensions）来实现。首先，需要确保你的Flink应用程序在启动时开启了JMX端口。然后，你可以使用JMX客户端工具（如jconsole或jvisualvm）连接到运行中的Flink应用程序，以获取关于作业延迟、吞吐量等性能指标的详细信息。

Flink on Yarn有两种运行模式：Session-Cluster和Per-Job-Cluster模式。在这两种模式下，你都可以通过上述方法进行指标监控。具体的操作步骤如下：

打开你的JMX客户端工具（例如jconsole）。
在JMX客户端工具中，输入Flink应用程序的JMX端口号以及主类名（即org.apache.flink.runtime.jobmaster.JobMaster）。
连接成功后，你将能够看到Flink应用程序的各种MBeans，通过这些MBeans你可以查看和监控作业的各项性能指标。

需要注意的是，如果你的作业日志量非常大，可能需要采取一些特殊措施来查看和定位问题，因为在这种模式下，程序运行的日志会分散存储在不同的DN上。此外，为了确保Flink应用程序在Yarn集群上正常运行，你可能还需要检查和调整一些Yarn的配置参数，例如虚拟内存检查设置。

以下为热心网友提供的参考意见

这些指标flink 不是自带吐出来了吗，你配置吐出到promthus pushgateway 就好了，此回答整理自钉群“【①群】Apache Flink China社区”

本文来自投稿，不代表新手站长_郑州云淘科技有限公司立场，如若转载，请注明出处：https://www.cnzhanzhang.com/19748.html