如何评估AMD Kimi-K2.5-MXFP4GSM8K基准测试完整流程【免费下载链接】Kimi-K2.5-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-MXFP4AMD Kimi-K2.5-MXFP4是一款基于Kimi-K2.5模型优化的高性能AI模型采用MXFP4量化技术专为AMD MI350/MI355等硬件平台设计。本文将详细介绍如何使用GSM8K基准测试评估该模型的数学推理能力帮助您全面了解模型性能表现。模型简介Kimi-K2.5-MXFP4是通过AMD-Quark工具对原始Kimi-K2.5模型进行MXFP4量化得到的优化版本。该模型在保持高精度的同时显著提升了推理效率特别适合部署在AMD ROCm生态系统中。图Kimi-K2.5-MXFP4模型标志代表AMD优化的高效AI推理能力核心特性量化技术采用MXFP4静态权重量化和动态激活量化硬件支持专为AMD MI350/MI355设计支持ROCm 7.1.0推理引擎兼容vLLM后端实现高效部署多模态支持可处理文本、图像和视频输入GSM8K基准测试概述GSM8KGrade School Math 8K是一个包含8000多个小学数学问题的基准测试集主要用于评估模型的数学推理能力。该测试要求模型不仅能给出正确答案还需要展示完整的解题步骤。测试结果预览根据官方评估数据Kimi-K2.5-MXFP4在GSM8K上表现出色基准测试Kimi-K2.5Kimi-K2.5-MXFP4性能恢复率GSM8K (flexible-extract)94.09%93.1%98.95%表Kimi-K2.5-MXFP4与原始模型在GSM8K上的性能对比测试环境准备硬件要求AMD MI350/MI355 GPU至少64GB系统内存软件环境Linux操作系统ROCm 7.1.0DockervLLM 0.17.0lm-evaluation-harness 0.4.11获取模型git clone https://gitcode.com/hf_mirrors/amd/Kimi-K2.5-MXFP4 cd Kimi-K2.5-MXFP4评估步骤详解1. 启动Docker容器使用vLLM提供的ROCm镜像作为评估环境docker run -it --networkhost --device/dev/kfd --device/dev/dri --group-add video --ipchost vllm/vllm-openai-rocm:v0.17.02. 安装评估工具在容器内安装lm-evaluation-harnesspip install lm-eval[api]0.4.113. 启动vLLM服务export VLLM_ROCM_USE_AITER1 vllm serve amd/Kimi-K2.5-MXFP4 -tp 4 \ --mm-encoder-tp-mode data \ --tool-call-parser kimi_k2 \ --reasoning-parser kimi_k2 \ --enforce-eager \ --trust-remote-code4. 运行GSM8K评估打开新的终端连接到同一容器执行评估命令lm_eval \ --model local-completions \ --model_args modelamd/Kimi-K2.5-MXFP4,base_urlhttp://0.0.0.0:8000/v1/completions,tokenized_requestsFalse,tokenizer_backendNone,num_concurrent32 \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size 1结果解读与分析评估完成后您将获得类似以下格式的结果GSM8K: - acc: 0.9310 (931/1000) - acc_norm: 0.9280 (928/1000)关键指标说明acc原始准确率直接匹配答案的比例acc_norm归一化准确率考虑不同表达方式的正确答案性能对比分析Kimi-K2.5-MXFP4在GSM8K上达到了93.1%的准确率相比原始模型仅下降0.99%但推理速度和显存占用有显著优化。这表明MXFP4量化技术在保持模型性能的同时实现了高效部署。常见问题解决1. 显存不足问题如果遇到显存不足错误可尝试减少并行度vllm serve amd/Kimi-K2.5-MXFP4 -tp 2 # 将张量并行度从4减少到22. 评估速度慢增加批处理大小可提高评估速度lm_eval ... --batch_size 8 # 适当增大批处理大小3. 服务启动失败确保正确安装了所有依赖并检查ROCm环境rocminfo # 验证ROCm安装总结通过本文介绍的步骤您可以轻松完成AMD Kimi-K2.5-MXFP4模型在GSM8K基准测试上的评估。该模型在保持高精度的同时通过MXFP4量化技术实现了高效推理特别适合部署在AMD MI系列GPU上。如需了解更多部署细节请参考项目中的部署指南文档。模型量化脚本可在项目根目录中找到通过调整参数可进一步优化模型性能。希望本指南能帮助您全面评估Kimi-K2.5-MXFP4的数学推理能力为您的AI应用提供有力支持【免费下载链接】Kimi-K2.5-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考