当 Chinese FineWeb 系列数据集在通用中文 AI 领域持续发光发热时OpenCSG 悄然完成了一次战略转身——从通用语料走向垂直场景从单一来源走向跨来源整合从语言模型基座延伸到文档智能底座。2026 年 3 月OpenCSG 正式开源CIMDCross-Source Multilingual Document Corpus一个面向文档智能任务的跨来源、多语言 JSONL 语料库。这不仅是 OpenCSG 数据战略的重要升级更是从“能读懂文字”到“真正理解文档”的关键一步。为什么需要 CIMD文档智能的数据困境在大模型时代一个容易被忽视的现实正在浮现通用语料虽然让模型能够流畅对话但面对真实世界的文档智能任务时往往力不从心。以企业知识库问答为例一个看似简单的问题“某项政策对我们的业务有什么影响”实际上需要同时调用制度参考层面的法律法规、政策文件和行业标准学术研究层面的专业论文、学位论文和会议记录机构分析层面的研究报告、协会材料和咨询分析企业运营层面的产能数据、融资材料和项目更新以及公共讨论层面的媒体报道、观点记录和舆情分析。传统的单一来源数据集只能回答局部问题——政策库侧重制度依据论文库侧重技术原理企业库侧重运营数据。而真实的文档智能任务往往需要跨来源的连续证据链需要在不同类型的文档之间建立关联需要追溯每一条证据的来源和时间。更关键的是现有的文档数据集普遍存在三大痛点元数据缺失只有正文没有来源、时间、语言等关键信息、格式混乱PDF、DOCX、HTML 混杂难以统一处理、可追溯性差无法回溯到原始文档难以做审计和归因。这正是 CIMD 的核心价值所在将制度文本、学术文献、机构分析、企业资料、公共讨论和市场材料放入同一套记录体系每条记录都保留完整的元数据让 AI 能够像文档分析师一样进行“跨来源检索 证据归因 时间追溯”的联合推理。CIMD 核心特性不只是文档堆砌而是智能就绪的数据资产跨来源整合打破文档孤岛CIMD 最大的创新在于来源家族清晰的跨来源整合。当前公开快照包含111,308 条 JSONL 记录覆盖9,655 个去重文件保留35 类来源类型按 7 个来源家族组织制度参考reference_governance90,197 条记录涵盖法规、政策、标准和合规参考材料学术文献scholarly_literature17,569 条记录包含学术出版物、长文档资料、学位论文和会议记录企业运营enterprise_operations1,744 条记录整合企业资料、运营信息、产能记录、融资材料和项目更新公共讨论public_discourse1,286 条记录汇集公共讨论、媒体材料和观点记录机构分析institutional_analysis484 条记录涵盖研究机构、协会、咨询机构和金融机构分析材料市场观察market_observations20 条记录包含市场、交易和价格相关记录其他记录miscellaneous_records8 条记录未归入主要来源家族的材料这种跨来源结构使得同一主题可以在多种来源之间形成连续证据链减少跨库拼接带来的语义割裂和上下文缺口。元数据完整从“能用”到“好用”的关键CIMD 和通用网页语料的核心差别在于记录级元数据。每条记录都保留了完整的元数据字段标识字段file_id文件标识、data_id记录标识、file_name原始文件名来源字段source_type来源类型、author作者/机构、source_details来源链接或说明时间字段original_time原始发布时间、content_time内容时间分类字段language语言标签、country国家标签、keywords关键词授权字段license_type记录级授权类型、data_version数据版本使用者可以按来源筛选只使用制度参考或只使用学术文献按时间过滤获取特定时间段的政策变化按语言分类进行中英文分离或混合使用还可以将检索到的文本片段回溯到原始文件。对于长文档检索、来源归因、审计留痕、授权控制、质量抽检和数据资产管理这类记录级元数据比单纯正文更有操作价值。长文档就绪为文档智能优化的数据结构CIMD 专门为长文档工作流设计。公开数据主要来自 PDF、DOCX、JSONL 等载体发布时统一整理为按行读取的 JSONL。raw_chunk保存解析后的文本块单个源文件可以对应多条记录。当前块长不是固定 token 长度公开快照的 raw_chunk中位数字符数约为 3,951P95 约为 4,091。这个长度设计考虑了向量库索引的效率不会太长导致检索粒度过粗长上下文模型的输入需求可以直接作为上下文块人工审核的可读性一个 chunk 对应一个完整的语义单元进入向量库或长上下文模型前用户可按窗口长度重新切分保持了最大的灵活性。多语言覆盖支持跨语种文档智能当前快照包含en英文、zh中文和 other其他语言三类语言标签英文en59,625 条53.6%中文zh19,856 条17.8%其他语言31,827 条28.6%这种多语言覆盖可用于构建跨语种检索样本、多语言文档分类语料和双语知识库。需要精确到具体小语种的任务可以先检查或重新标注 other 类记录。子集可独立使用灵活的数据组织方式CIMD 按来源家族组织每个子集都可以单独加载# 只加载制度参考材料dataset load_dataset(opencsg/CIMD, reference_governance, splittrain)# 只加载学术文献dataset load_dataset(opencsg/CIMD, scholarly_literature, splittrain)# 合并多个子集构建完整语料from datasets import concatenate_datasetsref_data load_dataset(opencsg/CIMD, reference_governance, splittrain)scholar_data load_dataset(opencsg/CIMD, scholarly_literature, splittrain)full_data concatenate_datasets([ref_data, scholar_data])这个结构适合做分组实验、增量验证和权限分层。如果要发布标准 benchmark需要另行构造查询、标注和评价集。质量保障公开版本经过发布前筛选当前公开快照经过严格的发布前筛选过滤前记录条数379,648过滤排除记录条数268,340公开 JSONL 记录条数111,308去重 file_id 数9,655source_type 类别数35筛选范围包括元数据完整性、来源可追溯性、授权标记和解析质量。用户在训练、分发或商用前仍需结合具体来源核验授权范围。数据资产盘点完整的 Manifestdataset_manifest.json保留了公开快照的总体规模、子集规模、语言分布、格式分布和来源类型分布。使用者可以把它作为数据清单也可以用来做后续版本对比、质量抽检和数据目录登记。格式分布PDF109,069 条98.0%JSONL704 条0.6%DOCX1,528 条1.4%DOC7 条0.0%应用场景从检索到 Agent 的全链路支撑CIMD 的设计目标是直接可用于模型与应用。当前公开版本以统一 JSONL 记录格式发布不是单纯的原始 PDF 堆积。解析后的记录可直接进入检索、切分、标注、训练、评测和服务流程。场景一多来源文档检索与 RAG以企业合规问答助手为例当用户询问“最新的数据安全法规对我们的业务有什么影响”时系统可以跨来源检索同时在 reference_governance法规政策、scholarly_literature学术研究和 institutional_analysis机构分析中检索时间过滤通过 original_time 和 content_time 字段筛选最近 6 个月的材料证据归因在生成回答时通过 source_type、author 和 source_details 字段标注每条证据的来源可追溯性通过 file_id 和 data_id 回溯到原始文档支持审计和复核统一的 JSONL 格式可以直接接入向量数据库完整的元数据支持精确过滤和来源归因跨来源结构天然适配多跳推理。场景二长文档问答与证据归因在学术文献分析场景中研究人员需要从大量论文中提取关键信息并追溯来源。CIMD 的长文档结构支持完整上下文raw_chunk 保留足够长的文本块保证语义完整性文档级关联通过 file_id 将同一文档的多个 chunk 关联起来时间序列分析通过 content_time 字段构建研究主题的时间演进图谱跨语言检索通过 language 字段支持中英文混合检索场景三文档分类与主题标注在构建企业知识库时需要对大量文档进行自动分类和主题标注。CIMD 提供来源类型标签35 类 source_type 可以作为分类的先验知识关键词辅助keywords 字段提供主题标注的候选词作者/机构信息author 字段帮助识别权威来源多语言支持language 字段支持构建多语言分类模型场景四数据目录与授权审计在企业数据治理场景中需要对数据资产进行盘点和授权管理。CIMD 的元数据结构支持数据清单通过 dataset_manifest.json 快速了解数据规模和分布授权追踪license_type 字段记录每条记录的授权类型来源追溯source_details 字段提供原始来源链接版本管理data_version 字段支持数据版本对比场景五继续训练语料筛选与评测集构建在构建垂直领域大模型时CIMD 可以作为预训练语料筛选按 source_type 和 language 筛选高质量训练样本SFT 数据构建基于制度参考、学术文献等构建指令数据评测集构建按来源家族和时间分层抽样构建多维度评测集数据质量控制通过元数据字段做质量抽检和异常检测从 Chinese FineWeb 到 CIMD: OpenCSG 的数据战略演进如果我们回顾 OpenCSG 的数据开源历程会发现一条清晰的战略演进路径第一阶段通用中文语料Chinese FineWeb 系列这一阶段的目标是为中文大模型提供高质量预训练语料。Chinese FineWeb 被清华大学论文选为 L1 层基础数据支撑了 CMU H-Net、MiniCPM4 等多个前沿模型成为中文 AI 研发的必备资源。这一阶段的特点是通用、大规模、高质量。第二阶段垂直场景语料CIMD这一阶段的目标是为文档智能任务提供专业数据底座。CIMD 实现了从通用走向垂直、从单一来源走向跨来源整合、从语料库走向知识体系、从研究数据集走向数据资产的创新。这一阶段的特点是专业、跨源、体系化、可信。这种演进反映了 OpenCSG 对 AI 发展趋势的深刻洞察通用大模型是基础垂直场景 AI 是未来。开源承诺商业友好推动文档智能化CIMD 采用OpenCSG 数据集许可协议OpenCSG Dataset License Agreement。在 Hugging Face 和 OpenCSG 平台的仓库 metadata 中license 字段标注为other表示本数据集采用平台预设列表之外的自定义许可协议数据集的实际许可条款以 OpenCSG 数据集许可协议为准。该协议明确支持商业用途。使用者可以将数据集用于研究、评测、验证、内部开发、模型训练、模型微调、检索增强、质量分析和合规审查等场景。如果计划将本数据集、基于本数据集训练或增强的模型、系统、Agent、API 服务或商业产品用于商业场景需要遵循该协议的相关条款并发送邮件至lorrainegopencsg.com获取商业许可。重要说明当前公开快照中的license_type: 商业授权是记录级授权来源标记不替代仓库级许可协议。这种开源策略体现了 OpenCSG 的核心理念既要保护数据来源方的合法权益和知识产权又要为文档智能发展提供必要的数据支撑。通过清晰的授权边界、完善的合规要求和灵活的商业许可机制CIMD 为企业合规使用文档数据、构建垂直 AI 能力提供了可信路径。数据获取与使用指南通过 Git 获取推荐git lfs installgit clone https://opencsg.com/datasets/OpenCSG/CIMD.gitcd CIMDgit lfs pull7 个子集说明1. reference_governance制度参考记录数90,197 条 | 文件数6,919 个内容法规、政策、标准和合规参考材料2. scholarly_literature学术文献记录数17,569 条 | 文件数2,053 个内容学术出版物、长文档资料、学位论文和会议记录3. enterprise_operations企业运营记录数1,744 条 | 文件数64 个内容企业资料、运营信息、产能记录、融资材料和项目更新4. public_discourse公共讨论记录数1,286 条 | 文件数545 个内容公共讨论、媒体材料和观点记录5. institutional_analysis机构分析记录数484 条 | 文件数68 个内容研究机构、协会、咨询机构和金融机构分析材料6. market_observations市场观察记录数20 条 | 文件数2 个内容市场、交易和价格相关记录7. miscellaneous_records其他记录记录数8 条 | 文件数4 个内容未归入主要来源家族的记录使用注意事项计数单位当前统计为解析记录数不等同于去重后的原始文档数。单个源文件可以对应多条记录。Git LFS公开子集通过 Git LFS 管理clone 后需执行git lfs pull。数据质量不同来源之间可能存在重复、近重复或解析噪声。时间字段时间字段可能表示发布时间、内容时间或抽取时间需结合具体记录判断。授权核验用于训练、分发或商用前需结合来源信息核验实际授权范围。展望从文档智能到更多场景CIMD 的发布只是 OpenCSG 垂直场景数据战略的第一步。从数据体系的设计来看这套方法论具有很强的可复制性和可扩展性横向扩展可以复制到更多垂直领域金融、医疗、法律、教育等构建领域专属的文档智能语料库。纵向深化可以在时间维度上持续更新构建时序数据集在深度维度上增加更多细分来源和专题在质量维度上引入更精细的质量分层。能力升级可以从单纯的文本语料扩展到多模态文档包含图表、公式、表格的复杂文档从静态快照升级到动态更新的知识库。OpenCSG 正在探索的是一条从通用 AI 到场景 AI、从语料库到知识体系、从研究数据集到数据资产的完整路径。行业标杆地位的验证OpenCSG发布的FineWeb-Edu-Chinese作为全球下载量排名前三的中文预训练数据集,累计下载超百万次其价值已经得到业界广泛认可:学术领域:被斯坦福大学、清华大学、中国人民大学高瓴人工智能学院、上海人工智能实验室、北京智源研究院等 20 余家顶尖机构的论文引用。旗下 Chinese Fineweb Edu 已成为中文 NLP 研究的核心数据资源被 100 篇学术论文引用在 NeurIPS、ACL、EMNLP、ICLR 等国际顶会及 Nature 子刊、JMLR 等权威期刊中作为核心实验数据集支撑大模型预训练、指令微调等前沿研究合作机构还包括鹏城实验室、西南电子技术研究所、西班牙国家级超算中心Barcelona Supercomputing Center及 Mozilla Data Collective 等全球顶尖科研单位。产业应用:支撑 Llama3-Chinese、DeepSeek 等知名模型训练并被中国移动、中国联通、英伟达NVIDIA、苹果公司Apple Inc.、OPPO、美团、阿里巴巴、蚂蚁集团、面壁智能ModelBest、Krafton等领军企业采用。Chinese Fineweb Edu 已从实验室走向产业场景为创业公司到头部企业的研发团队提供可靠支撑切实推动中文 NLP 应用从理论落地到生产实践。生态影响:下载数量累计超百万次数据体量达 2.42TB覆盖 9.57 亿条高质量文本已孵化出 10 余个垂直领域微调模型。同时OpenCSG 通过开源打分模型和完整工具链输出数据治理方法论带动行业从 “模型参数内卷” 转向 “数据基建完善”显著降低中小开发者与研究机构的入门门槛。开源生态OpenCSG 坚持“开源即文化”的理念通过透明、共创、共享的社区文化与全球开发者、工程师和 AI 原生企业共同构建智能体生态。结语文档智能的基础设施从数据开始当我们谈论 AI 在企业中的落地时往往聚焦于模型架构、算法优化、算力投入却容易忽视一个更基础的问题文档智能需要什么样的数据CIMD 给出了一个清晰的答案文档智能需要的不是简单的网页爬虫数据而是跨来源整合的专业语料不是只有正文的纯文本而是带有完整元数据的数据资产不是混乱的文件堆积而是统一格式、可追溯、可审计的记录体系不是封闭的研究数据集而是商业友好的开源资源。OpenCSG 通过 CIMD 的开源正在做一件具有战略意义的事情为文档智能构建数据基础设施。这不是终点而是起点。当越来越多的垂直场景拥有像 CIMD 这样的高质量数据集当数据的组织方式从“文件堆积”升级为“知识体系”当数据资产的流通从“封闭私有”转向“可信开放”我们才能真正实现 AI 技术从实验室到产业的跨越。CIMD 的开源是文档智能从“能读懂文字”到“真正理解文档”的关键一步。了解更多访问 OpenCSG 官网 https://opencsg.com 或关注 OpenCSG 开源社区商业授权咨询lorrainegopencsg.com引用格式dataset{opencsg_cimd_2026,title {CIMD: A Cross-Source Multilingual Document Corpus},author {OpenCSG},year {2026},url {https://opencsg.com/datasets/OpenCSG/CIMD},note {OpenCSG dataset repository}}社区地址OpenCSG社区https://opencsg.com/datasets/OpenCSG/CIMDhf社区https://huggingface.co/datasets/opencsg/CIMD魔搭社区https://modelscope.cn/datasets/opencsg/CIMD关于 OpenCSGOpenCSG 是全球领先的开源大模型社区平台致力于打造开放、协同、可持续生态AgenticOps是人工智能领域的一种AI原生方法论由OpenCSG开放传神提出。AgenticOps是Agentic AI的最佳落地实践也是方法论。核心产品 CSGHub 提供模型、数据集、代码与 AI 应用的 一站式托管、协作与共享服务具备业界领先的模型资产管理能力支持多角色协同和高效复用。