CANN算子库静态Kernel调优指南

算子调优【免费下载链接】docs该仓库用于维护cann公共文档项目地址: https://gitcode.com/cann/docsDump算子信息。算子调优前需要先获取模型中算子信息统计文件*.json包括算子的shape、dtype、format等信息。目前支持两种方式Dump算子json文件请根据实际情况选择合适的方式。使用PyTorch的Python接口编程时可通过Ascend PyTorch Profiler接口dump算子json文件具体介绍参见《性能调优工具》中“性能数据其他采集方式 Ascend PyTorch Profiler”。在训练前开启扩展参数experimental_config中“算子信息统计功能”即参数record_op_args置为True。查看采集到的PyTorch训练性能数据结果文件。训练结束后Dump的算子信息统计文件默认在{worker_name}_{时间戳}_ascend_pt_op_args/{pid}目录下。使用acl接口时可通过aclopStartDumpArgs和aclopStopDumpArgs接口将算子信息统计文件Dump到指定目录下接口详见《Runtime运行时 API》中的“Dump配置”。编译静态Kernel包。在任意目录下以运行用户如HwHiAiUser身份执行如下命令进行算子编译默认静态编译命令样例op_compiler --op_params_dirdump_dir --soc_versionsoc_version --loginfo --job8 --outputoutput_dir调优编译命令样例op_compiler --op_params_dirdump_dir --soc_versionsoc_version --loginfo --job8 --compile_modetune --outputoutput_dir关键参数释义如下全量的参数说明可参考《算子编译工具》中“参数说明”章节请根据实际情况设置。--op_params_dir简写为-p必选Dump工具导出的统计数据所在的文件夹路径支持绝对和相对路径。--soc_version简写为-v执行算子编译功能时必选指定算子编译时AI处理器的型号。说明如果无法确定当前设备的soc_version则在安装NPU驱动包的服务器执行npu-smi info命令进行查询在查询到的“Name”前增加Ascend信息例如“Name”对应取值为_xxxyy_实际配置的soc_version值为Ascend_xxxyy_。--log简写为-l可选设置算子编译过程中日志的级别。可设置为debug/info/warning/error/null级别默认为null。--job简写为-j可选设置编译时工作进程数。最小取值为1默认为16。--compile_mode简写为-m可选取值支持配置为tune代表开启调优模式执行调优编译流程。不使用该参数的情况下执行默认编译流程。--output简写为-o可选编译输出的安装包路径名称如xxx/xxx/xxx.run支持相对路径和绝对路径。不输入路径的情况下在当前路径下生成不输入安装包名称的情况下安装包默认命名为“static_kernel_${datetime}_${pid}.run”。当出现类似如下回显信息代表编译成功。generate run package static_kernel_${datetime}_${pid}.run success说明算子编译工具提供了**--count**参数和-p参数配合使用用于统计-p参数指定的目录下算子信息统计json文件的数目。 样例如下op_compiler -p dump_dir --count只有动态shape才能dump出算子统计信息安装静态Kernel包后静态Kernel包对应算子的统计信息就不会dump出来。所以在安 装静态Kernel包后如果网络有调整可以通过调整前后dump的json文件的数量来判断静态Kernel包和当前网络是否匹配。 通过调整网络前后各执行一次dump操作并通过--count命令来统计dump生成的json文件的数目如果调整后的数目比调整前 大则说明静态Kernel包中有部分算子不再匹配当前网络此时开发者可以卸载静态Kernel包重新走dump流程编译安装新的静态Kernel包。仍使用当前静态Kernel包此时需要注意不匹配的算子会走动态流程得不到性能收益。不支持在dump_dir下执行编译命令。安装静态Kernel包。进入static_kernel_${datetime}_${pid}.run包所在目录以运行用户如HwHiAiUser身份运行run包./static_kernel_${datetime}_${pid}.run当出现如下回显信息代表安装成功。Verifying archive integrity... 100% SHA256 checksums are OK. All good. Uncompressing STATIC KERNEL RUN PACKAGE 100%目前暂不支持指定目录安装run包默认安装到{install_path}/opp/static_kernel路径下其中${install_path}为CANN软件安装后文件存储路径请根据实际情况替换该路径。说明run包默认安装路径${install_path}/opp/static_kernel的默认权限为770本用户、同组用户访问。如果权限不足导致静态Kernel包安装失败可联系CANN软件包的安装用户修改static_kernel目录权限来解决。run包安装后的目录结构样例如下|-- ${install_path}/opp/static_kernel |-- ai_core |-- config |-- ascendxxxx |-- binary_info_config.json # 全量静态Kernel包的总索引 |-- config.ini # 记录安装顺序的配置文件。 |-- static_kernel_250924103634186357_988879 # 时间戳为“250924103634186357”且进程号为988879的静态Kernel文件 |-- ascendxxxx | |-- Add # 算子二进制目录 | |-- static_kernel_Add_float16_NCL_xxxx_d0.json | |-- static_kernel_Add_float16_NCL_xxxx_d1.json | |-- static_kernel_Add_float16_NCL_xxxx_d0.o | |-- static_kernel_Add_float16_NCL_xxxx_d1.o | |-- xxxx | |-- static_kernel_xxx.json | |-- static_kernel_xxx.o | |-- ...... |-- config # 单个静态Kernel包索引 | |-- ascendxxxx | |-- binary_info_config.json |-- scripts # 工具涉及的通用脚本 | |-- ...... |-- uninstall.sh # 单包卸载脚本 |-- static_kernel_xxxx # 不同时间戳的静态Kernel文件 |-- uninstall.sh # 全量卸载脚本 |-- version.info # 版本信息说明支持多个Kernel包安装如果多个包中存在相同的算子Kernel以后安装的Kernel包为准。可选当不再需要静态Kernel包时可以单包卸载或全量卸载。单包卸载进入static_kernel_${datetime}_${pid}.run包的安装目录以运行用户如HwHiAiUser身份运行uninstall.sh。cd ${install_path}/opp/static_kernel/ai_core/static_kernel_${datetime}_${pid} ./uninstall.sh卸载成功ai_core目录下static_kernel_${datetime}_${pid}文件夹将会被删除。全量卸载进入${install_path}/opp/static_kernel/ai_core目录下以运行用户如HwHiAiUser身份运行uninstall.sh。cd ${install_path}/opp/static_kernel/ai_core/ ./uninstall.sh卸载成功ai_core目录下所有内容将会被删除所有已安装的Kernel包均被卸载。【免费下载链接】docs该仓库用于维护cann公共文档项目地址: https://gitcode.com/cann/docs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考