CANN/asc-devkit反量化向量设置

SetAntiQuantVector【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况产品是否支持Ascend 950PR/Ascend 950DTxAtlas A3 训练系列产品 / Atlas A3 推理系列产品xAtlas A2 训练系列产品 / Atlas A2 推理系列产品xKirin X90xKirin 9030x功能说明在Matmul计算时支持A矩阵half类型输入B矩阵int8类型输入该场景下需要调用伪量化接口进行伪量化。调用伪量化接口后将数据从GM搬出到L1时会执行伪量化操作将B矩阵转化为half类型。本节的伪量化接口提供一个量化参数向量该向量的shape为[1, N]N值为Matmul矩阵计算时M/N/K中的N值。对B矩阵的每一列都采用该向量中对应列的伪量化系数进行伪量化。请在Iterate或者IterateAll之前调用该接口。函数原型__aicore__ inline void SetAntiQuantVector(const LocalTensorSrcT offsetTensor, const LocalTensorSrcT scaleTensor)参数说明参数名输入/输出描述offsetTensor输入伪量化运算时的参数向量用于加。SrcT为A_TYPE中对应的数据类型。scaleTensor输入伪量化运算时的参数向量用于乘。SrcT为A_TYPE中对应的数据类型。返回值说明无约束说明无【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考