1. 项目概述当AI学会说“我不知道”在AI应用遍地开花的今天我们享受其带来的便利也时常被其“一本正经地胡说八道”所困扰。无论是智能客服答非所问还是内容生成工具凭空捏造事实这种“幻觉”问题已成为阻碍AI真正融入严肃场景的最大障碍之一。treeless-cancer982/no-hallucination这个项目直指这一痛点其目标并非让AI变得更“聪明”而是让它变得更“诚实”——教会AI在不确定或超出知识边界时坦然承认“我不知道”。这听起来简单实现起来却是一个系统工程。它不仅仅是给模型输出加一个“免责声明”而是涉及从数据清洗、提示工程、模型微调到最终输出验证的全链路改造。这个项目适合所有正在或将要把大语言模型LLM应用于知识问答、内容审核、辅助决策等对事实准确性要求极高场景的开发者、产品经理和技术负责人。如果你曾因模型的幻觉输出而头疼或正在构建一个不容有失的AI应用那么深入理解并实践“去幻觉”技术将是你的必修课。2. 核心思路构建多层防御体系对抗AI幻觉没有一劳永逸的“银弹”必须建立一个纵深防御体系。no-hallucination项目的核心思路正是将单一的生成任务拆解为多个可验证、可控制的子任务通过流程和规则来约束模型的“想象力”。2.1 从“端到端生成”到“检索增强生成”最根本的幻觉来源是模型试图仅凭其参数化的记忆来回答问题而这些记忆可能是不完整、过时或矛盾的。因此首要策略是改变信息源从“凭记忆编造”转向“依据给定资料回答”。这就是检索增强生成的核心思想。为什么选择RAG可控的信息源所有回答必须基于我们提供的、经过审核的文档库如产品手册、知识库、法规条文。模型失去了“自由发挥”的权限基础。事实可追溯生成的每一个关键陈述理论上都可以追溯到源文档的某个片段便于人工复核和审计。知识实时更新无需重新训练昂贵的基座模型只需更新文档库即可让模型获取最新知识避免了因模型训练数据陈旧而产生的幻觉。在no-hallucination的架构中RAG是基石。但仅仅接入RAG还不够因为模型仍可能错误地解读检索到的文档或者将不同文档中不相关的信息强行关联起来。2.2 思维链与分步验证为了进一步约束模型我们需要引导其“展示思考过程”。这借鉴了思维链技术但目的不是为了解决复杂推理而是为了增加透明度和设立检查点。一个典型的去幻觉流程会要求模型问题解析首先让模型复述并澄清用户问题确保它理解了问题的真实意图避免因误解问题而答非所问。信息检索与筛选模型根据解析后的问题从检索到的文档片段中筛选出最相关的部分。这一步的输出是“证据列表”。证据整合与验证模型基于“证据列表”尝试组织答案。对于每一个关键事实点模型需要注明其对应的证据编号。如果某个点没有证据支持则必须标记为“无支持信息”。最终答案生成与置信度标注基于整合后的信息生成最终答案并对答案的整体置信度进行自我评估例如高/中/低。如果置信度过低或关键信息缺失则触发“我不知道”或“需要更多信息”的回复。通过这种分步拆解我们将一个黑箱的生成过程变成了一个白箱的、可干预的流程。我们可以在“证据整合”这一步加入规则比如“任何没有证据支持的陈述不得出现在最终答案中”。2.3 外部工具与事实核查对于最高要求的场景仅靠模型自省是不够的需要引入外部事实核查工具作为最后一道防线。这可以是一个简单的关键词匹配验证也可以是一个复杂的、基于知识图谱的推理验证系统。例如在生成关于某公司股价的答案后系统可以自动调用财经数据API核对答案中的数字是否与实时数据一致。或者在生成历史事件描述后与权威的历史数据库进行交叉验证。no-hallucination项目的进阶部分通常会设计这样的插件化接口允许接入各种可信的第三方验证服务。3. 实操要点从数据到提示的精细打磨有了顶层设计落地实施的关键在于细节。以下是在构建去幻觉系统时必须关注的几个实操要点。3.1 高质量知识库的构建与管理你的RAG系统效果90%取决于你的知识库质量。垃圾进垃圾出。文档预处理是关键分块策略不要简单按字数或段落切割。应根据文档语义进行分块确保每个块内容完整、独立。例如对于技术文档一个函数说明、一个配置章节就是一个天然块。使用语义分割模型如bert-base-uncased辅助分块效果更好。元数据丰富为每个文本块添加丰富的元数据如来源文件名、章节标题、最后更新时间、可信度等级等。这些元数据将在检索和答案生成阶段起到关键的过滤和排序作用。去重与冲突解决知识库中经常存在对同一事实的不同描述。必须建立一套冲突解决机制。例如定义“以最新版本为准”或“以某权威源为准”的规则并在向量化之前对文本进行归一化处理避免将矛盾的信息同时提供给模型。实操心得我们曾在一个金融知识库项目中因为两份不同年份的监管文件对同一指标的要求有差异导致模型答案前后矛盾。后来我们为每个文档块添加了“生效日期”元数据并在检索后按日期排序优先采用最新证据彻底解决了这个问题。3.2 提示工程为“诚实”设计对话提示词是引导模型行为最直接的杠杆。去幻觉提示词的核心是“明确规则”和“设定角色”。一个基础的去幻觉提示词模板如下你是一个严谨、诚实的助手。你的所有回答必须严格基于提供的“参考信息”。如果参考信息中没有足够的信息来完整、准确地回答问题你必须明确指出这一点并说明缺少哪些信息。 请按照以下步骤思考并回答 1. 理解问题用一句话复述用户的问题确保你理解了它。 2. 检索证据从“参考信息”中找出与问题直接相关的部分。列出这些证据的编号。 3. 验证与整合检查这些证据是否足以回答问题。如果足够请基于这些证据组织答案如果不够请明确指出证据的缺口在哪里。 4. 生成最终答案基于第3步的结论给出最终答案。答案中的每一个关键事实都应引用证据编号【如[1]】。如果信息不足请说“根据现有信息我无法确定...”。 参考信息 [1] 证据文本1... [2] 证据文本2... ...进阶技巧少样本学习在提示词中提供2-3个“好答案”和“坏答案”的示例。好答案展示如何正确引用证据并承认信息不足坏答案则展示典型的幻觉模式如捏造细节、过度推断。强制格式化输出要求模型以JSON等结构化格式输出包含answer、confidence、citations、missing_info等字段。这极大方便了后端的解析和校验。温度参数在生成最终答案时将温度参数设置为较低值如0.1-0.3以减少模型的随机性和“创造性”使其输出更倾向于检索到的证据。3.3 模型微调定向培养“诚实”品格对于通用大模型即使有好的提示其“编造”的本能依然很强。因此对模型进行针对性的微调是打造高可靠性去幻觉系统的终极手段。微调数据构造你需要构建一个高质量的“问题-证据-诚实答案”三元组数据集。问题覆盖你业务领域的各种问题包括许多已知答案不在知识库中的“超纲题”。证据从知识库中检索出的相关文本片段对于超纲题相关片段可能很少或没有。诚实答案人工编写的理想答案。对于可回答的问题答案需严格引用证据对于不可回答的答案必须是“我不知道”或明确请求澄清。微调目标 微调的目标不是让模型学会新知识而是让它学会“遵守规则”即根据给定的证据决定是生成基于证据的答案还是拒绝回答。这通常采用指令微调或基于人类反馈的强化学习来完成。注意事项微调需要大量的高质量人工标注数据成本高昂。且微调后的模型可能在通用能力上有所下降即“对齐税”。因此建议先充分优化RAG和提示工程仅在准确率要求达到99.9%以上的关键场景中考虑微调方案。4. 系统实现一个模块化的去幻觉流水线让我们以一个具体的系统实现为例拆解其核心模块。假设我们构建一个企业内部技术知识问答机器人。4.1 系统架构图文字描述整个系统可分为五个核心层知识摄入层负责文档的解析、清洗、分块、向量化并存入向量数据库如Chroma, Pinecone, Weaviate。查询处理层接收用户原始问题进行查询理解、同义词扩展、问题重写以提升检索召回率。检索与精排层使用向量检索初步召回相关块再通过轻量级交叉编码器如bge-reranker对结果进行精排选出最相关的Top-K个证据片段。推理与生成层这是核心。将用户问题和精排后的证据片段连同精心设计的去幻觉提示词发送给LLM如GPT-4, Claude-3, 或微调后的开源模型如Llama-3。要求模型进行链式思考并生成带引用的结构化答案。后处理与验证层对模型输出进行解析、格式化。可选择性接入事实核查插件如检查生成的产品型号是否真实存在并最终将答案和引用来源呈现给用户。4.2 关键代码环节检索与生成以下是一个简化但关键环节的伪代码示例展示检索后如何构造提示词并调用模型。import requests import json from vector_db_client import retrieve_documents # 假设的向量数据库客户端 class NoHallucinationBot: def __init__(self, llm_api_url, vector_db_index): self.llm_api_url llm_api_url self.vector_db_index vector_db_index def _construct_prompt(self, question, evidence_chunks): 构造去幻觉提示词 evidence_text for i, chunk in enumerate(evidence_chunks): evidence_text f[{i1}] {chunk[text]}\n来源{chunk[source]}\n\n prompt f你是一个技术知识助手必须严格依据以下参考信息回答问题。 如果信息不足请明确说明。 参考信息 {evidence_text} 用户问题{question} 请按以下步骤思考 1. 理解问题。 2. 列出相关证据编号。 3. 判断信息是否充足。 4. 生成最终答案并引用证据编号。 请以JSON格式输出包含以下字段 - answer: (最终答案文本) - confidence: (高/中/低) - citations: [引用的证据编号列表] - missing_info: [如果信息不足说明缺少什么] 现在开始 return prompt def answer_question(self, user_question): # 1. 检索相关文档块 retrieved_chunks retrieve_documents(self.vector_db_index, user_question, top_k5) # 2. 构造提示词 prompt self._construct_prompt(user_question, retrieved_chunks) # 3. 调用LLM API headers {Content-Type: application/json} data { model: gpt-4, messages: [{role: user, content: prompt}], temperature: 0.1, # 低温度减少随机性 response_format: {type: json_object} # 强制JSON输出 } response requests.post(self.llm_api_url, headersheaders, datajson.dumps(data)) llm_output response.json() # 4. 解析并后处理 try: result json.loads(llm_output[choices][0][message][content]) # 可以在此处添加额外验证逻辑比如检查引用的编号是否在有效范围内 if result[confidence] 低 and not result[missing_info]: result[answer] 信息可能不完整建议咨询相关专家。 return result except json.JSONDecodeError: return {answer: 抱歉回答解析失败。, confidence: 低, citations: [], missing_info: []} # 使用示例 bot NoHallucinationBot(llm_api_urlhttps://api.openai.com/v1/chat/completions, vector_db_indextech_kb) answer bot.answer_question(我们产品的API速率限制是多少) print(f答案{answer[answer]}) print(f引用{answer[citations]})这个示例展示了从检索到生成的核心闭环。关键在于提示词明确规定了输出格式和思考步骤并且通过低温和JSON格式进一步约束了模型输出。4.3 评估体系如何衡量“去幻觉”效果构建系统只是第一步如何评估其效果同样重要。你需要一套超越传统“准确率”的评估指标。核心评估指标事实准确性答案中的陈述与真实情况或提供的证据的一致性。可以人工评分或利用更强大的LLM作为裁判进行自动化评估。引用忠实度答案中声称引用的证据是否真正支持该陈述。需要检查是否存在“引用无关内容”或“捏造引用”的情况。拒绝率与质量对于知识库外的问题系统是否正确地拒绝了回答拒绝的表述是否清晰、有用例如是说“我不知道”还是能指出“缺少关于XX部分的信息”幻觉率随机抽样一批回答由人工判断其中包含无依据陈述的比例。这是最直接的终极指标。构建评估集你需要准备一个测试集包含可回答的问题答案明确在知识库中。不可回答的问题答案完全不在知识库中。部分可回答的问题知识库只有部分相关信息。包含陷阱的问题问题本身有歧义或与知识库中过时信息相关。定期在这个测试集上运行你的系统跟踪上述指标的变化是持续优化系统的唯一可靠方法。5. 常见陷阱与优化策略实录在实际部署no-hallucination系统的过程中你会遇到许多预料之外的问题。以下是我们从多个项目中总结出的“血泪教训”。5.1 陷阱一检索模块的“漏网之鱼”问题现象模型最终答案出现了幻觉但追溯发现相关的正确证据其实就在知识库中只是没有被检索出来。根因分析查询表述不匹配用户问“怎么重启服务”知识库里是“服务重启操作步骤”。简单的关键词匹配可能失效。分块不合理答案所需信息被切割到了两个不同的块中单个块的信息都不完整。向量模型不适用使用的文本嵌入模型如text-embedding-ada-002在你的专业领域如法律、医疗上表现不佳无法捕捉专业术语间的语义关联。解决方案查询扩展与重写在检索前先用一个轻量级LLM对用户问题进行同义词扩展和重写。例如将“重启服务”重写为“服务重启操作步骤、服务重新启动方法”。优化分块策略采用重叠分块或语义分块。例如设置块大小为500词重叠150词确保上下文连贯。或使用专门模型进行句子边界检测。领域适配的嵌入模型如果领域非常垂直考虑使用在该领域语料上继续训练过的嵌入模型或微调开源嵌入模型如bge-large-zh。混合检索结合向量检索语义相似和关键词检索如BM25。向量检索负责召回语义相关但表述不同的文档关键词检索保证核心术语的精确匹配。将两者的结果融合后重新排序。5.2 陷阱二模型的“创造性”引用问题现象答案看起来有理有据也列出了引用编号但仔细核对发现模型引用的证据块里根本没有它所说的内容。模型“伪造”了引用。根因分析这是提示工程和模型本身行为习惯导致的。即使你要求引用模型也可能为了生成一个“流畅、完整”的答案而将记忆中的知识或推断的内容强行关联到提供的证据上。解决方案在提示词中强化惩罚明确警告模型“严禁编造引用。如果你引用的内容不在提供的证据中这将是一个严重错误。”并在少样本示例中展示这种错误案例。后处理验证在系统后端增加一个验证步骤。解析出答案中每个引用编号对应的具体句子然后回到原始证据块中进行字符串匹配或语义相似度验证。如果匹配度过低则触发警告或降级置信度。使用具有更强指令跟随能力的模型实践表明像GPT-4、Claude-3-Opus这类顶级模型在遵循复杂指令如严格引用方面远优于中小型模型。在关键场景为可靠性付费是值得的。5.3 陷阱三“安全”但无用的答案问题现象系统变得过于保守对于很多本可部分回答的问题也一律回复“我不知道”用户体验很差。根因分析去幻觉的规则设置得过于严格。例如要求“答案必须完全由证据支持”而现实中很多问题需要模型进行合理的、有限的推断。解决方案建立置信度分层响应机制不要只有“全知”和“不知”两种状态。设计多级响应高置信度证据充分直接给出完整答案。中置信度证据部分支持可以给出答案但明确说明其局限性例如“根据A文档通常的做法是X但关于Y部分现有资料未提及”。低置信度证据很少或矛盾拒绝直接回答但可以引导用户例如“关于您的问题我找到一些相关背景信息[1]但无法给出确切操作步骤。您是否需要查看这些背景信息”。允许有限的、合理的推断在提示词中定义什么是“合理推断”。例如“你可以基于证据中的一般原则进行一步简单的逻辑推导但不得添加证据中未出现的新实体或具体数据。”提供相关片段即使无法直接回答问题也可以将检索到的最相关的几个证据片段呈现给用户让用户自己判断。这总比一句冷冰冰的“我不知道”要好。5.4 性能与成本的平衡问题描述一个完整的去幻觉流水线涉及多次模型调用查询重写、检索重排、最终生成可能还有后处理验证导致延迟和API成本显著增加。优化策略缓存策略对常见问题及其答案进行缓存。缓存键应基于“问题知识库版本”的哈希值确保知识库更新后缓存失效。模型分级调用对于查询重写、重排等对能力要求相对较低的任务使用便宜、快速的小模型如gpt-3.5-turbo或开源7B模型。只在最终生成环节使用强大但昂贵的大模型。异步与流式处理将检索、重排等步骤提前并行处理。对于生成环节如果答案较长可以考虑使用流式输出让用户尽快看到开头部分。知识库索引优化确保向量数据库的索引是最优的使用HNSW等高效算法并选择合适的索引参数以在召回率和检索速度间取得平衡。构建一个真正“不幻觉”的AI系统是一条充满挑战但价值巨大的道路。它没有终点而是一个在准确性、可用性、成本和性能之间不断寻找最佳平衡点的持续过程。no-hallucination项目的精髓不在于某个神奇算法而在于这种严谨的、系统化的工程思维——不盲目相信模型的输出而是用流程、规则和验证来为它的可靠性保驾护航。从今天起像对待一个才华横溢但偶尔会信口开河的专家一样去设计你和AI的协作方式吧。