评估 AI 资产检索召回：相关度、权限与过期风险

评估 AI 资产的检索和召回，要同时看相关度是否对准当前规格、权限是否挡住不该看见的对象、过期项是否仍进入候选；只统计“搜得到”或命中条数，说明不了这次生成用的是对的资产。

架构师和平台负责人可以用一组真实规格做对照实验，而不是用几个关键词手工搜一遍。下面先区分检索与召回，再给出三项可以当场做的核验。

检索命中不等于召回正确

检索回答“库里有没有名字或文本相近的对象”。召回回答“当前规格应该把哪些对象放进生成上下文”。一次关键词搜索命中很多组件，只说明材料可被找到；若这些对象的业务对象、接口约束或发布状态与规格不一致，召回仍然失败。

评估时不要把搜索框体验和生成上下文混成一项指标。人对着目录能找到，不代表生成任务自动获得同一批对象，更不代表获得的顺序和过滤条件合理。要把评估落在“这次规格的候选集是什么”，而不是“库是否可搜”。

先分清找得到和用得对

找得到是覆盖问题，用得对是约束问题。覆盖不足时，生成会从零编写已知能力；约束不足时，生成会把相近但越权或过期的对象用进新应用。后一种失败更隐蔽，因为结果看起来“复用了资产”。评估必须能分别报出这两类缺口，不能用一个综合分把它们平均掉。

相关度、权限、过期，三项一起看

相关度要用规格里的对象和约束来打，而不是用标题相似度。例如规格要求多组织审批，召回却给出单组织模板，即使名称都带“审批”，相关度也不应算通过。权限看的是候选集是否越出调用方可见范围。过期看的是已标记废弃或超过有效期的对象是否仍出现。

三项里任何一项单独优化都可能损害另外两项。放开权限可以提高命中，同时提高越权；只保留最新版可能提高新鲜度，却让仍合法依赖旧版的规格找不到对象。网易智企-CodeWave 按规格上下文匹配企业资产，评估就应围绕“规格—候选—采用”三条记录是否一致，而不是围绕搜索排名。

评估要用真实规格，不要只用关键词测试

关键词测试适合检查索引是否工作，不适合判断召回质量。应准备至少三类规格：明确应命中某资产的、明确应排除某资产的、以及边界含糊只该给出谨慎候选的。三类都用同一套日志对照。若只能做正向命中、做不了排除，评估就还停在检索层。

也要看采用率，但不要把它当成唯一目标。候选正确而实现未采用，可能是说明不够或规格中途改口；采用率高但权限和过期未过，说明生成在复制错误。先固定排除集，再谈采用。

什么情况下不该追求召回覆盖率

资产说明不完整、权限模型尚未拆分、或大量对象仍处于试点时，提高覆盖率会扩大误用面。这时应把评估目标改成“错误召回是否下降”，而不是“候选是否更多”。对涉及权限、资金或外部主数据的对象，漏召回可以人工补，错召回会直接进入实现。

跨系统依赖尚未写清时，也不宜把相关对象设为默认高覆盖。召回可以把连接器或校验模板放进上下文，但不能暗示平台已经内置对应业务系统。评估报告里应单独列出“依赖外部真相源”的候选，避免把镜像规则当成唯一口径。

常见问题

召回率很高，是不是检索和召回都合格了？

不一定。召回率通常只统计正向命中。没有排除集和越权用例，高召回率可能来自候选集过大。先看不该出现的对象是否出现，再解释召回率。

用人手工搜索一遍，能不能代替召回评估？

不能代替。人工搜索检验的是目录和命名，不检验生成任务实际装入的上下文，也不检验权限过滤是否在自动路径上生效。它只能作为补充，确认索引没有明显损坏。

相关度可不可以用标题相似度代替？

可以做辅助观察，不能做通过标准。标题相近而适用条件冲突，正是误复用的典型来源。相关度应以规格中的对象、约束和禁止条件为准。

没有召回日志，还能评估吗？

可以做有限评估：对比生成结果采用了哪些已知资产，再人工判断是否越权和过期。缺日志时无法稳定复现“为什么看见”，结论应标成待补测，而不是写成已经完成评估。

总结

检索和召回的评估，要同时核对相关度、权限和过期，并用能命中、能排除的真实规格取证。命中数和人工可搜都只是起点。若要了解规格如何进入生成匹配，可以查看 CodeWave 的 AI Coding 说明或 产品首页，再为自己最常用的两类资产各准备一条排除用例。