多模态 RAG 才是企业知识库低{效瓶——颈}的解药？
随着 RAG 从原型应用进入真实知识库场景，检索增强的重点正在从简单的文本相似度召回，扩展到对知识形态、业务边界和证据位置的系统化组织。企业文档、科研资料、PDF 页面、图表、表格、截图、权限信息和引用位置共同进入检索链路后，系统需要同时处理「检索什么」「在哪里检索」和「如何核验」三个问题。知识库也由此从文本片段集合，逐步走向由富文本、多模态资产、结构化过滤和可追踪证据共同构成的智能检索基础设施。
目录
01. 多模态 RAG 为什么要重写检索对象？
多模态 RAG 为什么要重写检索对象？企业知识库为什么不能只依赖文本 chunk？...
02.「在哪里检索」才是 RAG 面对企业知识库的关键挑战？
结构化过滤和权限控制如何决定「在哪里检索」？为什么「在哪里检索」正在变得和「检索什么」同样重要？...
03.RAG 的重点如何从来源链接走向可核验证据？
引用信息为什么不能停留在文件链接层面？页码、图像块和区域级证据如何提升 RAG 回答的可核验性？...
多模态 RAG 为什么要重写检索对象？
1、5 月 5 日，Google 更新 Gemini API File Search，引起诸多关注。该功能将 RAG 的处理对象从文本片段扩展到 PDF 页面、图表、截图、图片和表格区域等多模态证据单元，并把相关能力整合进同一条 File Search 链路。[1-1]
① Gemini API 文档显示，多模态 File Search 支持对图像进行原生向量化与检索，并覆盖文件导入、切片、向量化、索引和检索等流程。[1-2]
② 对企业知识库而言，系统可以同时处理视觉信息、版面结构和局部证据，并结合客户、版本、权限、时间、文件类型等业务边界控制召回范围，最终将回答定位至具体页面和来源位置，提升召回适用性与生成结果的可核验性。
2、Gemini API File Search 在 AI 社区引发的话题在于其对企业部署 LLM 与 RAG 的成本、门槛和知识库利用率带来的影响。过去，企业内部沉淀了大量 PDF、表格、截图、图表和业务文档，这些材料往往难以稳定转化为模型可用上下文。[1-2][1-3]
① 维度灾难指高维向量空间中数据变得稀疏，距离区分度下降。企业知识库规模扩大后，仅靠全库向量相似度搜索，容易出现召回不准、排序不稳和检索成本上升。
② 以往企业 RAG 对知识库利用率偏低，常见问题是文档入库后只有文本 chunk 参与检索，PDF 页面、图表、截图、表格结构、版本状态和权限边界没有充分进入召回逻辑。
③ Gemini API File Search 将文件导入、切片、向量化、索引和检索下沉到平台层，并结合多模态检索、元数据过滤和页级引用，减少企业自行拼接 RAG 管线的工程成本。
3、以往面向企业环境的 RAG 方案的局限很大程度上源于检索对象被简化为切碎的文本段落。模型看到的只是从原始资料中抽离出来的一部分内容，而真实业务信息往往分布在页面结构、图表位置、表格行列关系、截图上下文、图注说明和引用位置之中。
① 富文本中的关键信息常常存在于跨模态关系中，例如正文与图表的对应关系、表格行列与结论的支撑关系、截图上下文与操作说明的关联关系；这些关系在切分和召回过程中容易被削弱。
② 当 RAG 从处理文本内容扩展到 PDF 页面、PPT、截图、表格和图表等富文档时，传统文本 chunk 会丢失版式、视觉关系和证据位置，因此知识单元需要从文本片段升级为包含结构与多模态证据的检索单元，否则会降低企业知识库的实际利用率。[1-2]
4、面对企业知识库的富文本环境，以 Gemini API File Search 为代表的多模态 RAG 方案的核心变化在于重写 RAG 的「检索对象」。系统需要处理的不再只是相似文本，而是带有页面、图像、表格结构、版式关系和证据位置的多模态证据单元。
① 通过保留页面文本、图像内容、表格结构、版式信息和引用位置，多模态 RAG 可以让模型在生成答案时使用更完整的业务上下文，并在回答后回到具体页面、图像片段或表格位置进行核验。
② 在 RAG 的处理流程中，单模态 RAG 通常以文本抽取、切分、向量化、召回与上下文注入为主线；多模态 RAG 则需联合解析页面文本、图像内容、表格结构与版式信息，并同步维护向量表征、证据定位和引用关系。
③ 图像可以先转成文字描述，也可以直接进入多模态向量空间；页面、表格和截图则需要保留原始位置关系，使检索结果同时包含文本证据和视觉证据。[1-4][1-5]
5、伴随近期工作对多模态检索链路的探索，统一向量表示、页面级检索和视觉结构建模能力逐步成熟，文本、表格、图像、幻灯片和复杂商业文档开始进入同一套检索系统。富文本中的版式、图表、字体和页面结构也开始成为可计算的检索信号。
① 在产业侧，Amazon Nova、Cohere Embed 4、Voyage 等能力开始将文本、表格、图像、幻灯片和复杂商业文档放入统一向量空间，使多模态材料进入同一条召回链路。[1-6][1-7][1-8]
② 在研究侧，DSE、ColPali 等工作开始保留页面布局、表格、图像、字体和视觉结构，让文档页面从文本来源扩展为可索引、可召回、可匹配的知识单元。[1-9][1-10]
「在哪里检索」才是 RAG 面对企业知识库的关键挑战？
1、RAG 的价值体现在模型生成前，从企业知识库召回材料，为回答提供外部上下文。进入企业系统后，检索质量不仅取决于语义相似度，也取决于召回范围是否正确。合同、制度、产品资料和客户文件通常按部门、版本、地区、权限等维度组织，「在哪里检索」由此成为企业 RAG 的关键工程问题...
关注👇🏻「机器之心PRO会员」，前往「收件箱」查看完整解读