CANN/asc-devkit：AddBroadCast算子直调样例

AddBroadCast算子直调样例概述本样例介绍Add算子的核函数直调方法多核tiling场景下增加输入Broadcast。本样例支持的产品及CANN软件版本产品CANN软件版本Ascend 950PR/Ascend 950DT CANN 9.1.0Atlas A3 训练系列产品/Atlas A3 推理系列产品 CANN 9.0.0Atlas A2 训练系列产品/Atlas A2 推理系列产品 CANN 9.0.0目录结构介绍├── add_broadcast │ ├── scripts │ │ ├── gen_data.py // 输入数据和真值数据生成脚本 │ │ └── verify_result.py // 验证输出数据和真值数据是否一致的验证脚本 │ ├── CMakeLists.txt // 编译工程文件 │ ├── data_utils.h // 数据读入写出函数 │ ├── add_broadcast.asc // Ascend C算子实现 调用样例 │ └── README.md // 样例说明文档算子描述算子功能Add算子实现了两个数据相加返回相加结果的功能。对应的数学表达式为z x y算子规格算子类型(OpType)Add算子输入nameshapedata typeformatxaxis 0: (8, 1024) / (8, 1022) / (17, 1024) / (17, 1022) axis 1: (16, 1) / (16, 1) / (20, 1) / (20, 1)bfloat16_t/int8_t/float/half/int16_t/int32_tNDyaxis 0: (1, 1024) / (1, 1022) / (1, 1024) / (1, 1022) axis 1: (16, 256) / (16, 255) / (20, 256) / (20, 255)bfloat16_t/int8_t/float/half/int16_t/int32_tND算子输出zaxis 0: (8, 1024) / (8, 1022) / (17, 1024) / (17, 1022) axis 1: (16, 256) / (16, 255) / (20, 256) / (20, 255)bfloat16_t/int8_t/float/half/int16_t/int32_tND核函数名add_broadcast_custom算子实现计算逻辑是Ascend C提供的矢量计算接口的操作元素都为LocalTensor输入数据需要先搬运进片上存储然后使用计算接口完成两个输入参数相加得到最终结果再搬出到外部存储上。Add算子的实现流程分为3个基本任务CopyInComputeCopyOut。 CopyIn任务负责将Global Memory上的输入Tensor xGm和yGm搬运到Local Memory分别存储在xLocal、yLocal Compute任务负责对xLocal、yLocal进行Broadcast并存入临时内存之后执行加法操作计算结果存储在zLocal中 CopyOut任务负责将输出数据从zLocal搬运至Global Memory上的输出Tensor zGm中。Tiling实现TilingData参数设计TilingData参数本质上是和并行数据切分相关的参数。本样例尝试将输入数据均分在给定数目的核上计算如不能均分则计算整核和尾核的个数整核和尾核分别处理不同数据量的数据。定义UB_BLOCK_NUM最为最大可用的UB数据块对应UB的大小为UB_BLOCK_NUM * 32 Bytes。 并以UB_BLOCK_NUM为粒度进行tiling切分。本示例算子使用了20个tiling参数 xLen、yLen、dataType为x, y输入数据的总长度和数据类型coef为需要Broadcast的输入扩维的倍数axis为输入数据Broadcast的轴blockLength、tileNum、 tileLength、lastTileLength为核均分场景下每个核上的计算量、tiling切分个数以及整块和尾块长度former(tail)Num、former(tail)Length、former(tail)TileNum、former(tail)TileLength、former(tail)LastTileLength为核不均分的场景下整核和尾核相关的切分数据与核均分场景下对应isEvenCore用来判断当前是否为核均分场景。调用实现使用内核调用符调用核函数。编译运行在本样例根目录下执行如下步骤编译并执行算子。配置环境变量 请根据当前环境上CANN开发套件包的安装方式配置环境变量。source ${install_path}/cann/set_env.sh说明${install_path}为CANN包安装目录未指定安装目录时默认安装至/usr/local/Ascend下。样例执行在本样例目录下执行如下命令。mkdir -p build cd build; cmake .. -DCMAKE_ASC_ARCHITECTURESdav-2201;make -j; # 默认npu模式 python3 ../scripts/gen_data.py # 生成测试输入数据 ./demo python3 ../scripts/verify_result.py output/output.bin output/golden.bin # 验证输出结果是否正确确认算法逻辑正确使用 CPU调试 或 NPU仿真 模式时添加-DCMAKE_ASC_RUN_MODEcpu或-DCMAKE_ASC_RUN_MODEsim参数即可。示例如下cmake -DCMAKE_ASC_RUN_MODEcpu -DCMAKE_ASC_ARCHITECTURESdav-2201 ..;make -j; # cpu调试模式 cmake -DCMAKE_ASC_RUN_MODEsim -DCMAKE_ASC_ARCHITECTURESdav-2201 ..;make -j; # NPU仿真模式注意切换编译模式前需清理 cmake 缓存可在 build 目录下执行rm CMakeCache.txt后重新 cmake。编译选项说明 | 选项 | 可选值 | 说明 | |------|--------|------| |CMAKE_ASC_RUN_MODE|npu默认、cpu、sim| 运行模式NPU 运行、CPU调试、NPU仿真 | |CMAKE_ASC_ARCHITECTURES|dav-2201默认、dav-3510| NPU 架构dav-2201 对应 Atlas A2 训练系列产品/Atlas A2 推理系列产品和 Atlas A3 训练系列产品/Atlas A3 推理系列产品dav-3510 对应 Ascend 950PR/Ascend 950DT |执行结果如下说明精度对比成功。test pass!创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考