概述

The Qualification 工具分析从基于 CPU 的 Spark 应用程序生成的 Spark 事件，以帮助量化将 Spark 应用程序迁移到 GPU 的预期加速效果。The Profiling tool 分析 CPU 或 GPU 生成的事件日志，并生成可用于调试和分析 Spark 应用程序的信息。

在运行本实验之前，请确保已运行之前的三个实验中的任何一个，并且已生成事件日志文件，因为 Qualification/Profiling 工具将事件日志作为输入。事件日志文件默认位于 /data/eventlogs 目录中，如果将其移动到另一个目录，请确保更新 /home/spark/lp-run-qua-pro.sh 脚本中的目录。

1. 使用左侧菜单链接连接到 System Console。

2. 运行 /home/spark/lp-run-qua-pro.sh 脚本，请参阅以下用法

   复制

   已复制！

               
   
               
   Usage: lp-run-qua-pro.sh <qualification|profiling> <app-eventlog1,app-eventlog2 ...>
   
           Example commands:
           Use profiling tool to process event logs
   
           # the input files can be either CPU or GPU event logs
           bash lp-run-qua-pro.sh profiling spark-application-1660204384913,spark-application-1659761211360
   
           Use qualification tool to process event logs
   
           # the input files can only be CPU event logs
           bash lp-run-qua-pro.sh qualification spark-application-1660123133461,spark-application-1660204645329
           

   
   

3. 复制和粘贴在桌面 VNC 连接上可用。您会在屏幕左侧看到一个侧边栏，打开后即可粘贴到剪贴板。粘贴内容后，即可立即在 VNC 桌面中粘贴