客服在群里问:退货到底几天内可以?系统回答七天,客户手里那份写着十五天。这类场面并不罕见。知识库上线第一个月,团队看到的是"能答";第二个月才发现,答不准比不答更贵——客户按错误答案操作,售后成本翻倍,坐席还要花时间解释。
抽 50 条真实会话逐条对照原文,错误通常集中在四个地方。
- 文档过期或互相矛盾:同一主题存在三个年份的版本,模型无法判断哪份现行。
- 条件与例外被切散:政策类文档往往原则在前、例外在后,切片把两者分开,检索到原则却丢了例外。
- 召回只看字面相似:客户问"能不能退",文档写"不支持无理由退货",语义接近,结论相反。
- 没有兜底:产品要求"必须回答",模型只能用最像的段落拼一个答案。
如果三成以上的错误来自文档本身,先做治理;如果错误集中在"答对一半",问题出在切片与召回;如果错误集中在"张冠李戴",问题在元数据与权限。这个归因顺序很重要,它决定了预算先花在哪里。
1、AI 客服答不准的四个原因
判断的抓手是抽样复盘。把一周内的会话按"答对、答对一半、答错、该答没答"四类归档,再回看每一类的原文依据,问题会自己浮出来。
- 答对一半,多半是切片把条件与结论拆开了。
- 答错,多半是召回到了旧版本或不适用的条款。
- 该答没答,多半是阈值设得太保守,或文档里根本没有这条规则。
- 张冠李戴,多半是元数据缺失,不同地区、不同渠道的规则混在一起。
把四类错误的占比算出来,常常会发现八成问题集中在二三十份文档上,范围比想象的小。这张分布表比任何演示都有用,它告诉你下一步该治理文档、该调整切片,还是该补兜底话术。我们此前在企业 AI 服务落地里讲过场景筛选,知识库属于其中输入最规整、最容易量化的一类,值得放在第一批。
2、第一层:文档要不要先治理
治理不是把文档重写一遍,而是让每份文档变成可被引用的证据。可以从五个动作开始。
- 定唯一口径:同一主题只保留一份现行版,其余标记废止而不删除,便于追溯。
- 标适用范围:写清适用对象、地区、渠道与生效时间,这四项是后面检索过滤的字段。
- 定责任人:每份文档有维护人,名字写在文档头,问题才有地方追。
- 设有效期:制度类文档给复审日期,到期自动进入待更新列表。
- 拆掉重复表述:同一规则在多份文档里出现,以一份为准,其余改为引用。
以一个日均 300 次咨询、200 人规模的客服团队为例,第一轮治理通常只需处理 40 到 60 份高频文档,覆盖八成以上的常见问题。范围不必求全,先把被问得最多的那部分做干净,效果比全量重写快得多。
3、第二层:切片与结构化怎么做
治理之后才谈切片。硬按 500 字切是省事,但会出现两个后果:条件与结论被切开,答案缺一半;跨段落的例外被忽略,答案多一半。
更稳的做法是按语义单元切。
- 一条规则切一片:条件、结论、例外放在同一片内,宁可短一点。
- 表格保留表头:把表头复制进每一片,否则检索到的那一行没有列名,模型读不懂。
- 问答对单独成片:历史工单里的标准答复,是现成的问答语料。
- 每片带元数据:来源文档、章节、生效日期、适用对象、责任人。
切片长度以 200 到 500 字为宜,太短丢上下文,太长召回不准。标题层级要保留,它是最便宜的语义结构。做完这一步,用同样 50 条会话回放一遍,观察"答对一半"的比例是否下降。如果没降,多半是切片仍按字数而非语义在切。
4、第三层:召回、重排与引用
召回决定模型看到什么。最常见的失败是只做向量检索:客户问具体型号、条款编号或金额门槛时,关键词才敏感,纯向量反而容易跑偏。
可以按四步搭。
- 先用元数据过滤:地区、渠道、版本、生效时间,把不适用的文档挡在检索之外。
- 再做混合召回:关键词与向量各取前 20 条,去重合并,保留两条路都命中的片段。
- 重排收敛到 3 到 5 片:片数越多,越容易把无关内容塞进上下文,答案也越散。
- 答案必须带引用:文档名、章节、生效日期三项缺一不可。
证据不足就不给结论。设定相似度与重排分的双阈值,低于阈值直接走兜底,不要让模型"尽量答"。引用不是装饰,它让坐席能快速核对,也让客户知道依据在哪。抽检时以"引用是否支持结论"为准,不要只看答案读起来顺不顺。
5、第四层:答不了的时候怎么兜底
兜底决定信任。建议分三档处理。
- 能答:给出结论、引用与生效日期,一句话说清,不堆术语。
- 部分能答:给操作路径与负责部门,同时提供转人工入口。
- 不能答:直接转人工,并把已召回的内容带给坐席,省掉重复描述。
三档的判定要写进产品逻辑,而不是交给模型自由发挥。转人工不是失败,错误答案才是。会员权益、储值规则这类涉及金额的场景,宁可多转一次人工,也不要让模型猜。行业软件里的会员积分与活动规则,可以参考联合利华零售终端会员服务案例的交付方式:规则由后台配置,前端只做展示,改规则不必改代码。
未命中的问题要回流。每周汇总一次,按主题归类,进入文档治理清单,形成闭环。没有这条回流通道,知识库三个月后就会停在原地。
6、人工与 AI 的协作方式
人工与 AI 的分工要落到界面上。坐席侧建议显示三样东西:召回的原文片段、引用来源、置信度。坐席可以一键采纳,也可以一键纠正,纠正内容进入待审队列,由文档责任人确认后回写知识库。
权限则按组织与岗位划分。多层级企业尤其要注意,同一份制度在不同组织可能有不同细则,检索前就要按组织过滤。华润多组织协同项目就是按组织与岗位配置权限与审批链路,把合同、用章、费用收进统一入口,并采用私有化部署,跨组织协作全程留痕,这套权限模型可以直接复用到知识库上。
还有一条经验:让坐席参与话术评审。他们最清楚客户怎么问,模型答得准不准,往往一句话就能判断。把他们的意见纳入每周复盘,比在后台调参更快见效。
7、上线节奏与验收
上线不必一次做全,四周可以跑完一个闭环。
- 第 1 周:盘点高频问题,完成前 50 份文档的治理。
- 第 2 周:切片、补元数据、搭混合检索,离线回放 50 条会话。
- 第 3 周:灰度 20% 会话,坐席可见引用,收集纠正记录。
- 第 4 周:全量放开,建立周度复盘。
灰度期间每天对比一组指标,异常当天就能发现,比全量上线后再回滚便宜得多。
验收看五个指标,口径要写清楚:一次解决率(未转人工且未追问的比例)、转人工率、平均首次响应时长、引用准确率(抽检 50 条,引用能支持结论的比例)、未命中问题数。前两周不建议看满意度,样本太小,波动大。
需要定制开发,或要把知识库接进既有工单系统时,可以走定制开发的服务流程:先出接口清单,再按里程碑排期,避免边做边改。行业软件里已有的工单与会员模块,也能通过行业软件页面了解适配范围。
常见问题
文档从来没整理过,能直接上知识库吗?
不建议。未治理的文档先上线,等于把矛盾放大给客户看。可以先选一个高频主题做样板,跑通治理、切片、召回、兜底四步,再按同样方法扩展到其他主题,通常两到三周能看到第一版可用效果。
一定要私有化部署吗?
看数据敏感度。涉及客户名单、合同条款、内部制度的,倾向私有化或专有实例;公开产品资料、通用话术,公有云 API 加数据脱敏也能用。两种方式的成本结构不同,前者一次性投入较高、按年运维,后者按调用量计费,具体区间要按并发与会话量测算。
怎么判断有没有效果?
用同一批会话做前后对比,看一次解决率与转人工率,而不是看模型演示。口径建议固定:统计周期四周,同一批问题集,人工抽检引用准确率。数字有波动是正常的,趋势向上即可。
大模型会不会乱答?
会,所以要有引用、阈值与兜底三件套。答案必须带来源,证据不足就转人工,敏感话题直接拦截。另外把纠正记录纳入周会评审,错误会越来越少。
知识库的难点不在模型选型,而在文档是否可信、切片是否完整、召回是否克制、兜底是否果断。这四件事做好,普通模型也能答得让人放心;四件事没做,换再大的模型也只是把错误说得更流利。想看更多同主题的拆解,可以浏览行业洞察与洞察归档。
把需求交给豆米,把确定性留给自己
一次沟通,获得可落地的产品建议与报价方案。



