在 Spark Web UI 中,您可以按照以下步骤查看执行计划:
-
打开 Spark Web UI。通常,它可以通过访问
http://来访问。:4040 -
在 Web UI 的左侧导航栏中,点击 “Jobs”。这将显示所有已提交给 Spark 作业的列表。
-
找到您想要查看执行计划的作业,点击作业 ID。这将打开一个新的选项卡,显示该作业的所有相关信息。
-
在作业选项卡中,向下滚动到 “Event Timeline” 部分。这里会显示作业中的各个阶段以及它们的开始和结束时间。
-
点击您感兴趣的阶段 ID。这将打开一个新的选项卡,显示该阶段的详细信息。
-
在阶段选项卡中,点击 “Executor ID”。这将打开一个新的选项卡,显示该执行器上的所有任务。
-
在任务选项卡中,点击您感兴趣的任务 ID。这将打开一个新的选项卡,显示该任务的详细执行计划。
在这个任务选项卡中,您可以查看任务的 SQL、RDD、DataFrame 等操作,以及它们之间的依赖关系。这有助于您了解 Spark 如何执行您的作业以及可能的性能瓶颈。
以上就是关于“spark webui 怎样查看执行计划”的相关介绍,筋斗云是国内较早的云主机应用的服务商,拥有10余年行业经验,提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩,主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复;电子化备案,提交快速,专业团队7×24小时服务支持!
简单好用、高性价比云服务器租用链接:https://www.jindouyun.cn/product/cvm