Quantize【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品不支持Atlas A2 训练系列产品/Atlas A2 推理系列产品不支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品AI Core不支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持功能说明按元素做量化计算将高精度数据转换为低精度数据。本接口的量化策略包括PER_TENSORPER_CHANNELPER_TOKEN和PER_GROUP四种每种量化策略均支持配置舍入模式。本接口最多支持输入为二维数据不支持更高维度的输入。Quantize与AscendQuant的功能类似Quantize在PER_TENSOR、PER_CHANNEL量化场景扩展了配置舍入模式的功能因此推荐使用本接口。PER_TENSOR量化整个srcTensor对应一个量化参数scale和offset的shape为[1]。PER_CHANNEL量化srcTensor的shape为[m, n]每个channel维度对应一个量化参数scale和offset的shape为[1, n]。PER_TOKEN量化srcTensor的每组tokentoken为n方向共有m组token中的元素共享一个量化参数srcTensor的shape为[m, n]时scale和offset的shape为[m, 1]。PER_GROUP量化定义group的计算方向为k方向srcTensor在k方向上每groupSize个元素共享一组scale和offset。srcTensor的shape为[m, n]时如果kDim0表示k是m方向scale和offset的shape为[(m groupSize - 1) / groupSize, n]如果kDim1表示k是n方向scale和offset的shape为[m(n groupSize - 1) / groupSize]。根据输出数据类型的不同PER_GROUP量化分为两种场景fp4x2_e2m1_t/fp4x2_e1m2_t场景后续内容中简称为float4场景和int8_t/hifloat8_t/fp8_e5m2_t/fp8_e4m3fn_t场景后续内容中简称为b8场景。fp4x2_e2m1_t/fp4x2_e1m2_t场景float4场景kDim 0:kDim 1:int8_t/hifloat8_t/fp8_e5m2_t/fp8_e4m3fn_t场景b8场景kDim 0kDim 1:函数原型通过sharedTmpBuffer入参传入临时空间template const QuantizeConfig config, typename DstT, typename SrcT, typename ScaleT, typename OffsetT __aicore__ inline void Quantize(const LocalTensorDstT dstTensor, const LocalTensorSrcT srcTensor, const LocalTensoruint8_t sharedTmpBuffer, const ScaleT scale, const OffsetT offset, const QuantizeParams params)接口框架申请临时空间template const QuantizeConfig config, typename DstT, typename SrcT, typename ScaleT, typename OffsetT __aicore__ inline void Quantize(const LocalTensorDstT dstTensor, const LocalTensorSrcT srcTensor,const ScaleT scale, const OffsetT offset, const QuantizeParams params)由于该接口的内部实现中涉及复杂的数学计算需要额外的临时空间来存储计算过程中的中间变量。临时空间支持接口框架申请和开发者通过sharedTmpBuffer入参传入两种方式。接口框架申请临时空间开发者无需申请但是需要预留临时空间的大小。通过sharedTmpBuffer入参传入使用该tensor作为临时空间进行处理接口框架不再申请。该方式开发者可以自行管理sharedTmpBuffer内存空间并在接口调用完成后复用该部分内存内存不会反复申请释放灵活性较高内存利用率也较高。接口框架申请的方式开发者需要预留临时空间通过sharedTmpBuffer传入的情况开发者需要为sharedTmpBuffer申请空间。临时空间大小BufferSize的获取方式如下通过GetQuantizeMaxMinTmpSize中提供的接口获取需要预留空间的范围大小。参数说明表1模板参数说明参数名描述config用于配置量化计算相关信息QuantizeConfig类型具体定义如下方代码所示其中参数的含义如下。policy用于配置量化策略枚举类型具体定义如下方代码所示。hasOffset用于配置offset是否参与计算。true表示offset参与计算。false表示offset不参与计算。roundMode量化过程中数据由高精度数据类型转换为低精度数据类型的舍入模式支持的取值有CAST_RINT、CAST_ROUND、CAST_FLOOR、CAST_CEIL、CAST_TRUNC、CAST_HYBRID各个舍入模式的详细介绍请参考精度转换规则。不同数据类型的量化支持不同的舍入模式当量化过程中使用了不支持的舍入模式时将回退到默认的舍入模式例如bfloat16_t数据类型量化为hifloat8_t数据类型时如果配置的roundMode为不支持的CAST_RINT实际执行量化时将回退到默认的roundModeCAST_ROUND。不同数据类型支持的舍入模式请见下方表格。kDimgroup的计算方向即k方向。仅在PER_GROUP场景有效支持的取值如下0k轴是第0轴即m方向为group的计算方向。1k轴是第1轴即n方向为group的计算方向。DstT目的操作数的数据类型。接口内根据入参dstTensor自动推导数据类型开发者无需配置该参数保证dstTensor符合输入输出支持的数据类型组合即可。SrcT源操作数的数据类型。接口内根据入参srcTensor自动推导数据类型开发者无需配置该参数保证srcTensor符合输入输出支持的数据类型组合即可。ScaleT缩放因子scale的数据类型。接口内根据入参scale自动推导数据类型开发者无需配置该参数。ScaleT可以为标量数据类型或LocalTensor类型。注意对于PER_TENSOR量化策略scale为标量ScaleT只能为标量数据类型。对于PER_CHANNEL、PER_TOKEN、PER_GROUP量化策略scale为矢量ScaleT只能为LocalTensor类型。OffsetToffset的数据类型。接口内根据入参offset自动推导数据类型开发者无需配置该参数。OffsetT可以为标量数据类型或LocalTensor类型。注意对于PER_TENSOR量化策略offset为标量OffsetT只能为标量数据类型。对于PER_CHANNEL、PER_TOKEN、PER_GROUP量化策略offset可以是标量或者矢量OffsetT可以为标量数据类型也可以为LocalTensor类型。struct QuantizeConfig { QuantizePolicy policy; bool hasOffset; RoundMode roundMode RoundMode::CAST_RINT; int32_t kDim 1; }; enum class QuantizePolicy : int32_t { PER_TENSOR, PER_CHANNEL, PER_TOKEN, PER_GROUP };表2接口参数说明参数名输入/输出描述dstTensor输出目的操作数。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。srcTensor输入源操作数。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。scale输入输入数据量化时的缩放因子。offset输入输入数据量化时的偏移量。对于PER_GROUP量化的float4场景offset不生效。sharedTmpBuffer输入临时缓存。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。临时空间大小BufferSize的获取方式请参考GetQuantizeMaxMinTmpSize。params输入量化接口的参数QuantizeParams类型具体定义如下方代码所示其中参数的含义如下。mm方向元素个数。nn方向元素个数。n值对应的数据大小需满足32字节对齐的要求即shape最后一维为n的输入或输出均需要满足该维度上32字节对齐的要求。groupSizePER_GROUP场景有效表示groupSize行/列数据共用一个scale/offset。groupSize的取值必须大于0且是32的整倍数。struct QuantizeParams { uint32_t m; uint32_t n; uint32_t groupSize 0; };输入输出支持的数据类型组合如下表3DstT为fp8_e5m2_t/fp8_e4m3fn_t支持的数据类型组合SrcTScaleT/OffsetTroundModehalfhalfCAST_RINT(默认)bfloat16_tbfloat16_tCAST_RINT(默认)floatfloatCAST_RINT(默认)halffloatCAST_RINT(默认)bfloat16_tfloatCAST_RINT(默认)表4DstT为hifloat8_t支持的数据类型组合SrcTScaleT/OffsetTroundModehalfhalfCAST_ROUND(默认)CAST_HYBRIDbfloat16_tbfloat16_tCAST_ROUND(默认)CAST_HYBRIDfloatfloatCAST_ROUND(默认)CAST_HYBRIDhalffloatCAST_ROUND(默认)CAST_HYBRIDbfloat16_tfloatCAST_ROUND(默认)CAST_HYBRID表5DstT为int8_t支持的数据类型组合 | SrcT | ScaleT/OffsetT | roundMode | | --- | --- | --- | | half | half | CAST_RINT(默认)CAST_ROUNDCAST_FLOORCAST_CEILCAST_TRUNC | | bfloat16_t | bfloat16_t | CAST_RINT(默认)CAST_ROUNDCAST_FLOORCAST_CEILCAST_TRUNC | | float | float | CAST_RINT(默认)CAST_ROUNDCAST_FLOORCAST_CEILCAST_TRUNC | | half | float | CAST_RINT(默认)CAST_ROUNDCAST_FLOORCAST_CEILCAST_TRUNC | | bfloat16_t | float | CAST_RINT(默认)CAST_ROUNDCAST_FLOORCAST_CEILCAST_TRUNC |表6DstT为fp4x2_e1m2_t/fp4x2_e2m1_t支持的数据类型组合当前均只支持PER_GROUP场景 | SrcT | ScaleT/OffsetT | roundMode | | --- | --- | --- | | half | half | CAST_RINT(默认)CAST_ROUNDCAST_FLOORCAST_CEILCAST_TRUNC | | bfloat16_t | bfloat16_t | CAST_RINT(默认)CAST_ROUNDCAST_FLOORCAST_CEILCAST_TRUNC | | float | float | CAST_RINT(默认)CAST_ROUNDCAST_FLOORCAST_CEILCAST_TRUNC | | half | float | CAST_RINT(默认)CAST_ROUNDCAST_FLOORCAST_CEILCAST_TRUNC | | bfloat16_t | float | CAST_RINT(默认)CAST_ROUNDCAST_FLOORCAST_CEILCAST_TRUNC |返回值说明无约束说明不支持源操作数与目的操作数地址重叠。操作数地址对齐要求请参见通用地址对齐约束。输入输出操作数参与计算的数据长度要求32字节对齐。连续计算方向即n方向的数据量要求32字节对齐。PER_GROUP量化的float4场景不支持offset该场景下模板参数config中的hasOffset参数必须配置为false。调用示例PER_CHANNEL、PER_TOKEN、PER_GROUP模式constexpr static QuantizePolicy tokenPolicy QuantizePolicy::PER_TOKEN; constexpr static QuantizePolicy channelPolicy QuantizePolicy::PER_CHANNEL; constexpr static QuantizePolicy groupPolicy QuantizePolicy::PER_GROUP; // 此处以PER_TOKEN模式为例启用offset舍入模式为CAST_ROUNDkDim仅PER_GROUP场景有效表示group计算方向为n方向 constexpr static QuantizeConfig config {tokenPolicy, true, RoundMode::CAST_ROUND, 1}; QuantizeParams params; // m,n为外部传入参数表示srcLocal实际参与的m、n方向的元素个数 params.m m; params.n n; params.groupSize n; // 仅PER_GROUP场景有效此处表示n方向所有元素共享一组scale和offset // dstLocal为int8_t类型的LocalTensorsrcLocal、scale、offset为half类型的LocalTensor Quantizeconfig(dstLocal, srcLocal, scale, offset, params);PER_TENSOR模式constexpr static QuantizePolicy tensorPolicy QuantizePolicy::PER_TENSOR; // 启用offset舍入模式为CAST_ROUND constexpr static QuantizeConfig config {tensorPolicy, true, RoundMode::CAST_ROUND, -1}; QuantizeParams params; // m,n为外部传入参数表示srcLocal实际参与的m、n方向的元素个数 params.m m; params.n n; params.groupSize 0; // 仅PER_GROUP场景有效 // dstLocal为int8_t类型的LocalTensorsrcLocal为half类型的LocalTensorscale、offset为half类型的标量 Quantizeconfig(dstLocal, srcLocal, scale, offset, params);结果示例如下输入数据srcLocal: [-4.4, 2.5, -2.9, -3.1, -1.5, -4.8, 1.8, 3.5, 4.5, 1.1, -2.7, 0.5, ... 1.6] 输入数据scale矢量: [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ... 1] 输入数据scale标量: [1] 输入数据offset矢量: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, ... 0] 输入数据offset标量: [0] 输出数据dstLocal: [-4, 3, -3, -3, -1, -5, 2, 4, 5, 1, -3, 1, ... 2]【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
