【星海出品】大模型微调-Part-One

LoRA (Low-Rank Adaptation of Large Language Model)大规模语言模型的低秩适应低秩: 指矩阵的秩远小于其行数和列数意味着数据中存在大量冗余信息 。NLA - 自然语言自编码器Natural Language Autoencoder(s)DeepSeek-Flash即DeepSeek-V4-Flash的总参数量为2840亿284B但在实际推理时只会激活约130亿13B的参数LLaMA-FactoryUnsloth Pro LoRA-XT QLoRAHuggingFace生态: https://huggingface.co/阿里巴巴达摩院提出的魔塔社区 https://modelscope.cn行业有人称其为中国版的HuggingFaceLLaMA-Factory: https://github.com/hiyouga/LLaMA-FactoryUnsloth: https://github.com/unslothai/unsloth适用 RTX 5080使用的5080 16G显存 甜点级 大模型文本生成模型8B-13B级别如Llama 3 8B/13B、Qwen2.5 14B全精度模型对比ollama提供的cloud 模型速度比本地速度快出一小截可能涉及到本地调整的参数与云上不同以及云传的网络过滤延迟等。