孤舟笔记 AgentScope + llama.cpp + qwen3.6本地大模型工具调用踩坑实录

张

张建站

2026/4/27 9:05:53

10分钟阅读

孤舟笔记 AgentScope + llama.cpp + qwen3.6本地大模型工具调用踩坑实录

文章目录环境说明踩坑一llama-server 默认不支持 Function Calling问题现象问题原因解决方案踩坑二工具函数返回值类型错误问题现象错误代码问题原因解决方案踩坑三自作聪明写了一堆解析代码问题现象问题原因解决方案最终正确代码运行效果总结参考资料最近在尝试用 AgentScope 框架连接本地部署的 Qwen3.6 大模型通过 llama-server实现工具调用Function Calling功能。本以为按照 OpenAI 标准接口对接就行结果踩了一堆坑特此实录。环境说明本地模型: Qwen3.6-35B (GGUF 格式)推理服务: llama.cpp 的 llama-server智能体框架: AgentScope (阿里巴巴开源)操作系统: Windows 10踩坑一llama-server 默认不支持 Function Calling问题现象代码写好了工具也注册了但模型就是不调用工具而是自己瞎编答案。toolkitToolkit()toolkit.register_tool_function(get_current_time)agentReActAgent(name AI,sys_prompt你是智能助手可以调用工具。,modelchat_model,toolkittoolkit,)用户问现在几点了模型直接回答现在是2024年…完全没有调用get_current_time()工具。问题原因llama-server 默认使用的是普通聊天模式不支持 OpenAI 的 Function Calling 格式。即使你在请求中传了tools参数服务器也不会处理模型也收不到工具定义。解决方案启动 llama-server 时加上--jinja参数llama-server.exe ^ -m F:\models\Qwen3.6-35B-A3B-UD-IQ1_M.gguf ^ --n-gpu-layers 999 ^ --ctx-size 16384 ^ --jinja ^ --host 127.0.0.1 ^ --port 8080--jinja参数会启用 Jinja2 模板渲染让服务器能够正确处理 ChatML 格式的消息包括工具调用。注意: 不是所有模型都支持 Function Calling需要模型本身经过相关训练。Qwen 系列模型大多支持。踩坑二工具函数返回值类型错误问题现象加上--jinja后模型终于开始调用工具了但是报错TypeError: The tool function must return a ToolResponse object, or an AsyncGenerator/Generator of ToolResponse objects, but got class str错误代码defget_current_time()-str:获取当前时间fromdatetimeimportdatetimereturndatetime.now().strftime(%Y-%m-%d %H:%M:%S)问题原因AgentScope 的工具函数必须返回ToolResponse对象不能直接返回字符串。这是 AgentScope 的设计规范用于统一处理工具调用的结果。解决方案fromagentscope.toolimportToolResponsedefget_current_time()-ToolResponse:获取当前时间fromdatetimeimportdatetime resultdatetime.now().strftime(%Y-%m-%d %H:%M:%S)returnToolResponse(contentresult)所有工具函数都要改成返回ToolResponsedefcalculate(expression:str)-ToolResponse:计算数学表达式try:resulteval(expression,{__builtins__:{}},{})returnToolResponse(contentf{expression}{result})exceptExceptionase:returnToolResponse(contentf计算错误:{e})踩坑三自作聪明写了一堆解析代码问题现象一开始以为 AgentScope 不能正确处理工具调用于是写了一个LlamaServerModelWrapper里面有一大堆正则表达式来解析模型输出classLlamaServerModelWrapper(OpenAIChatModel):TOOL_PATTERNre.compile(r{{call:\s*(\w)\s*\}\})JSON_TOOL_PATTERNre.compile(r\[\s*\{\s*name\s*:\s*(\w)...)TOOL_CALL_PATTERNre.compile(rtool_call\s*\(\s*(\w)\s*\(\s*([^)]*)\s*\)\s*\))asyncdef__call__(self,messages,**kwargs):# 100多行的解析逻辑...responseawaitsuper().__call__(messages,**kwargs)# 各种正则匹配...# 手动构造 ToolUseBlock...returnresponse问题原因完全没必要AgentScope 原生就支持 OpenAI 格式的工具调用。只要 llama-server 正确返回tool_calls字段AgentScope 会自动处理一切。解决方案删除所有自定义解析代码只保留必要的参数修正classLlamaServerModelWrapper(OpenAIChatModel):包装 OpenAIChatModel修复 tool_choice 参数asyncdef__call__(self,messages,**kwargs):iftool_choiceinkwargsandkwargs[tool_choice]isNone:kwargs[tool_choice]autoreturnawaitsuper().__call__(messages,**kwargs)AgentScope 会自动把工具定义发给模型解析模型的tool_calls响应执行对应的工具函数把结果返回给模型让模型生成最终回复最终正确代码#!/usr/bin/env python3importasyncioimportagentscopefromagentscope.agentimportReActAgentfromagentscope.messageimportMsgfromagentscope.toolimportToolkit,ToolResponsefromagentscope.memoryimportInMemoryMemoryfromagentscope.formatterimportOpenAIChatFormatterfromagentscope.modelimportOpenAIChatModel# 工具函数 - 必须返回 ToolResponsedefget_current_time()-ToolResponse:获取当前日期和时间fromdatetimeimportdatetime resultdatetime.now().strftime(%Y-%m-%d %H:%M:%S)returnToolResponse(contentresult)defcalculate(expression:str)-ToolResponse:计算数学表达式try:allowed{abs:abs,max:max,min:min}resulteval(expression,{__builtins__:{}},allowed)returnToolResponse(contentf{expression}{result})exceptExceptionase:returnToolResponse(contentf计算错误:{e})# 自定义 Model 包装器 - 只需修复参数classLlamaServerModelWrapper(OpenAIChatModel):asyncdef__call__(self,messages,**kwargs):iftool_choiceinkwargsandkwargs[tool_choice]isNone:kwargs[tool_choice]autoreturnawaitsuper().__call__(messages,**kwargs)defcreate_agent():chat_modelLlamaServerModelWrapper(model_nameqwen3.6,api_keyany-key,client_kwargs{base_url:http://127.0.0.1:8080/v1},)toolkitToolkit()toolkit.register_tool_function(get_current_time)toolkit.register_tool_function(calculate)returnReActAgent(name AI,sys_prompt你是智能助手可以使用工具回答问题。,modelchat_model,toolkittoolkit,memoryInMemoryMemory(),max_iters3,)asyncdefmain():agentscope.init()agentcreate_agent()user_msgMsg(name用户,content现在几点了,roleuser)responseawaitagent(user_msg)print(fAI:{response.content})if__name____main__:asyncio.run(main())运行效果你: 现在几点了 AI: 调用工具 get_current_time() 工具返回: 2026-04-27 02:49:27 AI: 现在是2026年4月27日02点49分27秒。总结问题原因解决方案模型不调用工具llama-server 默认不支持 FC启动时加--jinja参数TypeError: ToolResponse工具函数返回字符串返回ToolResponse(content...)代码复杂难维护自作聪明写解析逻辑信任框架用原生功能核心教训不要自作聪明框架能做的事就让框架做。遇到问题先查官方文档而不是自己造轮子。参考资料llama.cpp 官方文档AgentScope 官方文档Qwen 模型仓库如果这篇文章对你有帮助欢迎点赞收藏有问题欢迎评论区交流~

BFGS优化算法原理与Python实现详解

1. BFGS优化算法入门指南在机器学习和数值计算领域，优化算法扮演着至关重要的角色。BFGS算法作为最流行的二阶优化方法之一，以其出色的收敛性和稳定性在众多领域得到广泛应用。本文将深入解析BFGS算法的核心原理、实现细节以及实际应用技巧。2. 二阶优化…...

2026/4/27 9:05:50 阅读更多 →

一站式游戏模组管理：如何用XXMI启动器统一管理6款热门二次元游戏

一站式游戏模组管理：如何用XXMI启动器统一管理6款热门二次元游戏【免费下载链接】XXMI-Launcher Modding platform for GI, HSR, WW and ZZZ 项目地址: https://gitcode.com/gh_mirrors/xx/XXMI-Launcher 你是否曾经为了给不同的游戏安装模组而疲于奔命&…...

2026/4/27 8:58:32 阅读更多 →

5步掌握Blender 3MF插件：让3D打印工作流更高效

5步掌握Blender 3MF插件：让3D打印工作流更高效【免费下载链接】Blender3mfFormat Blender add-on to import/export 3MF files 项目地址: https://gitcode.com/gh_mirrors/bl/Blender3mfFormat 你是否在使用Blender进行3D建模时，想要将作品直接用…...

2026/4/27 8:51:45 阅读更多 →

保姆级避坑指南：用MIM搞定MMSegmentation 2.0.0安装，告别版本兼容性报错

深度学习语义分割实战：MMSegmentation 2.0极简安装与避坑手册在计算机视觉领域，语义分割技术正以惊人的速度重塑着医疗影像分析、自动驾驶和工业质检等场景的应用边界。作为OpenMMLab生态中的重要成员，MMSegmentation 2.0凭借其模块化设计和…...

2026/4/26 0:05:40 阅读更多 →

Chrome-GPT：将大语言模型深度集成到浏览器的开发实践

1. 项目概述：当浏览器插件遇上大语言模型最近在折腾一个挺有意思的开源项目，叫“Chrome-GPT”。光看名字，你大概就能猜到它的核心玩法：把当下最火的大语言模型（LLM）能力，直接集成到我们每天都要…...

2026/4/27 5:26:31 阅读更多 →

别再用Node.js写MCP网关了！C++ 2024性能基准测试：相同硬件下吞吐量超Go 3.8倍，延迟降低62%

更多请点击： https://intelliparadigm.com 第一章：MCP协议核心原理与C网关设计全景概览 MCP（Modular Communication Protocol）是一种面向微服务间低延迟、高可靠通信的二进制协议，其核心在于“模块化帧结构”与“状态…...

2026/4/26 0:05:49 阅读更多 →

终极指南：如何通过Newtonsoft.Json配置实现高性能JSON序列化

终极指南：如何通过Newtonsoft.Json配置实现高性能JSON序列化【免费下载链接】Newtonsoft.Json Json.NET is a popular high-performance JSON framework for .NET 项目地址: https://gitcode.com/gh_mirrors/ne/Newtonsoft.Json Newtonsoft.Json&#xff08…...

2026/4/27 4:01:07 阅读更多 →