昇腾AI处理器Swish激活函数样例

Swish样例概述本样例在深度学习模型激活函数场景下基于Swish/Silu高阶API实现激活函数计算。两个API具有紧密的数学关系Swish默认y x / (1 exp(-beta * x))beta为可调节参数本样例beta1.702GELU近似SiluSwish在beta1时的特例y x / (1 exp(-x))比ReLU更平滑梯度不会完全消失本样例通过编译宏USE_SILU_MODE控制两种模式使用float数据类型输入Tensor元素个数为32。本样例支持的产品及CANN软件版本产品CANN软件版本Ascend 950PR/Ascend 950DT CANN 9.1.0Atlas A3 训练系列产品/Atlas A3 推理系列产品 CANN 9.0.0Atlas A2 训练系列产品/Atlas A2 推理系列产品 CANN 9.0.0目录结构介绍├── swish │ ├── scripts │ │ ├── gen_data.py // 输入数据和真值数据生成脚本支持Swish/Silu两种模式 │ ├── CMakeLists.txt // 编译工程文件支持 -DUSE_SILU_MODE │ ├── data_utils.h // 数据读入写出函数 │ ├── swish.asc // Ascend C算子实现 调用样例两种模式合并 │ └── README.md // 样例说明文档样例描述样例功能本样例对输入Tensor按元素做Swish/Silu激活计算将计算结果写入输出Tensor。Swish和Silu具有紧密的数学关系Silu是Swish在beta1时的特例。计算公式如下 $$dstLocal_i Swish(srcLocal_i) \frac{srcLocal_i}{1 e^{-\beta \cdot srcLocal_i}}$$ $$dstLocal_i Silu(srcLocal_i) \frac{srcLocal_i}{1 e^{-srcLocal_i}}$$本样例中Swish模式使用beta1.702GELU近似值通过编译宏USE_SILU_MODE控制两种模式切换。样例规格表1样例规格表样例类型(OpType)swish / silu样例输入nameshapedata typeformatsrc[1, 32]floatND样例输出dst[1, 32]floatND核函数名swish_custom样例实现本样例中实现的是固定shape为输入src[1, 32]输出dst[1, 32]的swish_custom样例。Kernel实现核心计算步骤将输入数据搬入后调用对应的高阶API完成计算再将结果搬出。Swish模式调用方式AscendC::Swish(dstLocal, srcLocal, dataSize, scalarValue);Silu模式调用方式AscendC::SiluT, false(dstLocal, srcLocal, dataSize);Tiling实现本样例为单核逐元素计算场景无复杂分核逻辑。Host端通过AscendC::GetSwishTmpSizeSwish模式或AscendC::GetSiluTmpSizeSilu模式获取API所需临时缓冲区大小直接传递给Kernel使用。调用实现使用内核调用符调用核函数。编译运行在本样例根目录下执行如下步骤编译并执行样例。配置环境变量请根据当前环境上CANN开发套件包的安装方式配置环境变量。source ${install_path}/cann/set_env.sh说明${install_path}为CANN包安装目录未指定安装目录时默认安装至/usr/local/Ascend下。样例执行Swish模式默认mkdir -p build cd build; cmake -DCMAKE_ASC_ARCHITECTURESdav-2201 ..; make -j; python3 ../scripts/gen_data.py ./demoSilu模式mkdir -p build cd build; cmake -DUSE_SILU_MODEON -DCMAKE_ASC_ARCHITECTURESdav-2201 ..; make -j; python3 ../scripts/gen_data.py --silu-mode ./demo使用CPU调试或NPU仿真模式时添加-DCMAKE_ASC_RUN_MODEcpu或-DCMAKE_ASC_RUN_MODEsim参数即可。示例如下cmake -DCMAKE_ASC_RUN_MODEcpu -DCMAKE_ASC_ARCHITECTURESdav-2201 ..; make -j; # cpu调试模式 cmake -DCMAKE_ASC_RUN_MODEsim -DCMAKE_ASC_ARCHITECTURESdav-2201 ..; make -j; # NPU仿真模式注意切换编译模式前需清理cmake缓存可在build目录下执行rm CMakeCache.txt后重新cmake。编译选项说明表3编译选项说明选项可选值说明CMAKE_ASC_RUN_MODEnpu默认、cpu、sim运行模式NPU运行、CPU调试、NPU仿真CMAKE_ASC_ARCHITECTURESdav-2201默认、dav-3510NPU 架构dav-2201 对应 Atlas A2 训练系列产品/Atlas A2 推理系列产品和 Atlas A3 训练系列产品/Atlas A3 推理系列产品dav-3510 对应 Ascend 950PR/Ascend 950DTUSE_SILU_MODEOFF默认、ON样例模式OFF为SwishON为Silu执行结果执行结果如下说明精度对比成功。test pass!创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考