大语言模型英语Large Language Model简称LLM大多数人都有和 DeepSeek、Kimi 这类大语言模型LLM对话却很少有人真正想明白当你敲下一行文字点击发送到模型一字一句吐出回复这中间到底发生了什么其实抛开那些动辄千亿参数的复杂模型不谈LLM 的本质非常简单它就是一个永不停歇的 “文字接龙” 大师通过一次又一次预测 “下一个字是什么”最终拼出一整段完整的回复。整个过程可以拆解为一个清晰的循环流水线我们用一张图先看懂全貌LLM 预测循环流程示意图接下来我们一步步把这个过程拆解开讲透每一个环节。第一步把你的文字拆成模型能懂的 “积木”——Tokenization你输入的是一串人类能看懂的字符串比如你好,大模型但计算机和大模型根本看不懂文字它们只认识数字。所以第一步模型要先把你的文本拆成一个个最小的、标准化的 “文本积木”我们称之为Token词元。这个过程就叫做分词Tokenization。❝注这里我使用到了openai的分词网站https://platform.openai.com/tokenizer你可能会问为什么不直接按字或者按词拆分这是因为现代 LLM 普遍采用了子词Subword分词算法比如 BPE它的好处是兼顾效率与覆盖用有限的几万种 Token就能组合出几乎所有的词语不管是常用词还是生僻词、甚至是你造的新词。解决未登录词问题比如你输入一个模型没见过的专业术语它也能把它拆成几个子词来理解而不是直接报错。举个例子英文单词unhappiness可能会被拆成un、h、appiness三个 Token中文句子你好大模型可能会被拆成你好、、大、模型四个 Token。简单来说Token 就是模型处理文本的最小单位1 个 Token 大概对应 0.75 个英文单词或者 1.5 至 2 个左右的中文字符。第二步把积木变成数字 ——Token 到 Token ID 的映射拆完 Token 之后模型还是不能直接处理这些字符串它需要把每一个 Token转换成一个唯一的整数这个整数就是Token ID。这个过程其实就是查表模型自带了一个预训练好的词汇表Vocabulary里面记录了每一个 Token 对应的唯一 ID。比如你好→ 177519→ 11大→ 1640模型→ 184232经过这一步你输入的整段文字就从一串字符串变成了一串纯数字的数组[177519, 11, 1640, 184232]。到这里文本的预处理就完成了这串数字数组就是大模型真正的输入。第三步大模型的 “思考”—— 编码与上下文理解现在这串 Token ID 数组被送入了大模型的核心开始了模型的Transformer “思考”过程。首先这些 ID 会被转换成向量1. 词嵌入本质是查表操作词嵌入的底层实现非常直观就是一个超大的查找表Lookup Table模型会维护一个形状为[词表大小 |V|, 隐藏维度 d]的权重矩阵每一行就对应一个Token的语义向量——比如“国王”和“女王”的行向量会非常接近因为它们的语义相似。当你拿到Token ID之后直接把这个ID作为索引从矩阵里取出对应的那一行就得到了这个Token的嵌入向量整个过程就是一次简单的数组索引。绝大多数主流大模型比如GPT、LLaMA系列都会做权重共享这个嵌入矩阵和最后预测下一个Token的输出层权重是同一个这样可以减少近一半的参数同时提升模型的泛化能力。词嵌入底层实现示意图2. 位置编码给向量注入顺序信息因为Transformer是并行处理所有Token的天生不认识序列顺序所以需要给每个Token注入位置信息现在主流的实现有两种传统正弦位置编码原始Transformer用三角函数预计算出位置向量直接加到词嵌入上公式是这种方式不需要训练但是处理超长序列的时候泛化能力很差。旋转位置编码RoPE当前事实标准现在LLaMA、GPT-NeoX等主流模型都用这个它不是直接加向量而是通过旋转词嵌入的向量让两个Token的点积自动带上它们的相对位置信息。这种方式天生支持长度外推哪怕训练的时候只见过4k的序列推理的时候也能处理128k甚至百万级的长序列。3. 自注意力理解上下文依赖的核心这是模型理解词与词之间关系的核心底层的计算流程是生成Q、K、V向量每个Token的向量通过三个独立的可训练权重矩阵分别投影出三个向量Q查询当前Token想要“查找”什么信息K键当前Token能“提供”什么信息V值当前Token的实际内容计算注意力分数用当前的Q和所有Token的K做点积点积的结果就代表两个Token的相似度然后除以√d_k来缩放避免点积太大导致Softmax饱和、梯度消失。归一化与加权求和把分数过Softmax转换成0-1之间的注意力权重然后用这些权重对所有的V做加权求和就得到了当前Token的上下文向量——比如当处理“它”的时候就会自动给前面的“球”或者“机器人”分配很高的权重实现指代消解。多头注意力上面的过程会并行做很多次比如8头、32头每个头关注不同的依赖关系比如有的头关注语法结构有的头关注语义关联最后把所有头的结果拼起来再做一次线性变换就得到了自注意力层的输出。 另外因为是Decoder-only的生成式模型这里还会加一个因果掩码把未来位置的注意力分数设为负无穷这样Softmax之后权重就是0保证模型在处理的时候看不到未来的Token不会泄露信息。4. Prefill与KV Cache推理加速的核心这一步是把所有输入的Prompt一次性处理完同时为后面的生成阶段做准备Prefill阶段模型会一次性把所有输入的Token都过一遍Transformer层为每个Token都计算出对应的K和V向量然后把这些K和V都缓存起来这就是KV Cache。这个阶段的时间复杂度是O(n²)所以如果你的Prompt很长这一步会比较慢也就是你感觉“第一个字出来很慢”的原因。KV Cache的作用后面生成新Token的时候就不需要重新计算之前所有Token的K和V了只需要计算新Token的K和V拼到缓存里就行。这样生成阶段的时间复杂度就从O(n²)降到了O(n)每生成一个新Token都非常快。KV Cache工作流程示意图经过这一步模型已经完全理解了你输入的内容接下来就要开始生成回复了。第四步预测下一个 Token—— 接龙的第一步理解了你的问题之后模型要做的第一件事就是预测在我现在的上下文后面最可能出现的下一个 Token 是什么这就是 LLM 最核心的任务下一个 Token 预测Next Token Prediction。模型会输出一个概率分布对应词汇表里所有几万种 Token每个 Token 出现在下一个位置的概率是多少。比如在你问了 “你好请问 LLM 到底是什么” 之后模型可能会算出我35% 的概率这20% 的概率大15% 的概率… 其他所有 Token 的概率然后模型会根据你设置的采样策略比如贪心、Top-P、温度系数等从这个概率分布里选出一个最合理的 Token ID作为它生成的第一个回复的 ID。第五步解码 —— 把数字变回你能看懂的文字拿到了预测出来的 Token ID 之后模型要做的就是把它变回你能看懂的文字这个过程就是解码Decoding。其实就是反过来查词汇表刚才我们是 Token 查 ID现在是 ID 查 Token。比如预测出来的 ID 是 56568那对应的 Token 就是我这样你就能看到模型输出的第一个字了。这就是为什么你会看到模型是一个字一个字往外吐的 —— 因为它本来就是一个 Token 一个 Token 生成的。第六步自回归循环 —— 这就是 LLM 的本质到这里模型只生成了一个字还没完。接下来最关键的一步来了模型会把刚刚生成的这个新的 Token ID拼到之前的输入序列的末尾形成一个新的、更长的输入序列。然后重复上面的过程把新的输入序列送入大模型处理上下文预测下一个 Token 的概率分布采样得到新的 Token ID解码成文字输出给你再把新的 ID 拼到输入后面继续循环…这个循环我们称之为自回归生成Autoregressive Generation这就是 LLM 的本质它就像玩文字接龙你出了开头你好请问LLM到底是什么模型接了第一个字我然后它把我加到句子后面变成你好请问LLM到底是什么我然后接下一个字是再加进去变成你好请问LLM到底是什么我是再接一再加进去再接个…就这样一个字一个字接下去直到它预测到了结束符比如|endoftext|或者生成的内容足够长了这个循环才会停止。总结看到这里你应该明白了不管是和你聊天、写代码、写论文、还是做推理所有 LLM 能做的事情本质上都是这个简单的循环预测下一个 Token把它加到输入里再预测下一个循环往复。那些看似复杂的逻辑、推理、创造力本质上都是模型在海量的文本数据里学会了人类语言的规律然后用这个规律一次一次地接龙最终拼出了一段段看似智能的文字。那么这就是 LLM 的本质循环预测 “下一个字是什么”。说真的这两年看着身边一个个搞Java、C、前端、数据、架构的开始卷大模型挺唏嘘的。大家最开始都是写接口、搞Spring Boot、连数据库、配Redis稳稳当当过日子。结果GPT、DeepSeek火了之后整条线上的人都开始有点慌了大家都在想“我是不是要学大模型不然这饭碗还能保多久”我先给出最直接的答案一定要把现有的技术和大模型结合起来而不是抛弃你们现有技术掌握AI能力的Java工程师比纯Java岗要吃香的多。即使现在裁员、降薪、团队解散的比比皆是……但后续的趋势一定是AI应用落地大模型方向才是实现职业升级、提升薪资待遇的绝佳机遇这绝非空谈。数据说话2025年的最后一个月脉脉高聘发布了《2025年度人才迁徙报告》披露了2025年前10个月的招聘市场现状。AI领域的人才需求呈现出极为迫切的“井喷”态势2025年前10个月新发AI岗位量同比增长543%9月单月同比增幅超11倍。同时在薪资方面AI领域也显著领先。其中月薪排名前20的高薪岗位平均月薪均超过6万元而这些席位大部分被AI研发岗占据。与此相对应市场为AI人才支付了显著的溢价算法工程师中专攻AIGC方向的岗位平均薪资较普通算法工程师高出近18%产品经理岗位中AI方向的产品经理薪资也领先约20%。当你意识到“技术AI”是个人突围的最佳路径时整个就业市场的数据也印证了同一个事实AI大模型正成为高薪机会的最大源头。最后我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我整理出这套 AI 大模型突围资料包【允许白嫖】✅从入门到精通的全套视频教程✅AI大模型学习路线图0基础到项目实战仅需90天✅大模型书籍与技术文档PDF✅各大厂大模型面试题目详解✅640套AI大模型报告合集✅大模型入门实战训练这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】①从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图0基础到项目实战仅需90天全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤640套AI大模型报告合集⑥大模型入门实战训练获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】