openPangu-Embedded-7B-V1.1震撼发布昇腾NPU训练的70亿参数大模型25T tokens训练实现快慢思考融合【免费下载链接】openPangu-Embedded-7B-V1.1项目地址: https://ai.gitcode.com/hf_mirrors/FreedomIntelligence/openPangu-Embedded-7B-V1.1openPangu-Embedded-7B-V1.1是基于昇腾NPU从零训练的高效大语言模型参数量为7B不含词表Embedding。该模型训练了约25T tokens具备快慢思考融合与自适应切换能力为AI应用开发提供了强大的基础支持。核心特性解析70亿参数模型的突破性设计昇腾NPU深度优化架构openPangu-Embedded-7B-V1.1采用Dense架构设计通过昇腾NPU平台实现了高效训练与推理。模型包含34层网络结构隐藏维度达12800采用GQA注意力机制32个Q头8个KV头原生支持32k上下文长度为长文本处理提供了充足的能力储备。25T tokens训练的知识沉淀经过25T tokens的大规模预训练模型在通用能力、数学推理和代码生成等领域均表现出色。特别值得关注的是其创新的快慢思考融合机制——通过数据质量驱动的学习策略能够根据任务复杂度自适应切换思考模式在简单任务上自动启用快思考模式缩短响应时间在复杂任务中保持慢思考能力确保推理精度。性能测评精度与效率的完美平衡多维度能力评估openPangu-Embedded-7B-V1.1在主流测评集上展现了优异性能测评集测评指标慢思考v1.1自适应v1.1MMLU-ProExact Match75.5472.81CMMLUAcc72.9472.18C-EvalAcc84.9283.33GPQA-DiamondAvg473.2373.74MATH-500Avg197.0096.00LiveCodeBenchAvg258.2758.27注评测采用128k序列长度无额外思维链提示自适应模式的效率优势自适应思考模式在保持精度的同时显著提升了推理效率测评集指标慢思考v1.1自适应v1.1CMMLUAcc72.9472.18输出长度25741338C-EvalAcc84.9283.33输出长度24841723快速上手从环境搭建到推理运行硬件与软件要求硬件Atlas 800T A2 (64GB)软件环境操作系统Linux推荐openEuler≥24.03CANN8.1.RC1python3.10torch2.1.0torch-npu2.1.0.post12transformers4.53.2模型获取与验证通过以下命令克隆仓库并验证权重完整性git clone https://gitcode.com/hf_mirrors/FreedomIntelligence/openPangu-Embedded-7B-V1.1 cd openPangu-Embedded-7B-V1.1 # 权重校验 ARCH$(uname -m) if [ $ARCH arm64 ]; then sha256sum checklist.chk else sha256sum -c checklist.chk fi推理示例一键运行修改inference/generate.py文件添加模型路径后执行cd inference python generate.py思考模式切换模型默认使用慢思考模式可通过以下方式切换快慢自适应切换在输入末尾添加/auto_think标记快思考模式在输入末尾添加/no_think标记高级部署vllm_ascend推理框架支持对于生产环境部署推荐使用vllm_ascend框架以获得更高性能。详细配置指南请参考inference/vllm_ascend_for_openpangu_embedded_7b.zh.md。许可证与免责声明本模型根据OPENPANGU MODEL LICENSE AGREEMENT VERSION 1.0授权详细条款见LICENSE文件。模型生成内容仅供参考不代表开发者立场使用者需自行对内容负责。社区反馈如有任何意见和建议欢迎提交issue或联系openPanguhuawei.com共同推动模型的持续优化与发展。openPangu-Embedded-7B-V1.1凭借昇腾NPU的高效计算能力、25T tokens的海量训练数据以及创新的快慢思考融合机制为AI应用开发提供了强大而灵活的基础模型选择无论是学术研究还是商业应用都值得期待 【免费下载链接】openPangu-Embedded-7B-V1.1项目地址: https://ai.gitcode.com/hf_mirrors/FreedomIntelligence/openPangu-Embedded-7B-V1.1创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考