演示和落地差在哪
演示场景有三个特点:资料干净、问题标准、有人在旁边兜底。
真实使用完全相反:资料是乱的、问题是随口问的、没人兜底。所以演示能不能过,只是入门条件。
五个验证动作,当场做
一、用你自己的资料试
- 提前准备三份真实文档:一份格式乱的、一份内容长的、一份有你公司内部术语的。
- 现场上传,看能不能被正确解析,尤其是表格和图里的信息。
- 让它在这些资料里回答一个只有读了才会知道的问题。
二、问它答不出来的问题
- 故意问一个资料里没有的问题,看它是承认不知道,还是编一个答案。
- 再问一个边界模糊的问题,看它有没有追问澄清,还是一上来就给结论。
这一步最能看出可靠性。会拒答、会追问的系统,实际可用性远高于什么都能答的。
三、问数据放在哪
- 数据存在哪:对方服务器、公有云,还是可以在你本地部署。
- 谁能访问,日志留多久,离职人员权限怎么回收。
- 是否用于训练。用于训练的话,你的资料会不会进入对方的模型。
回答含糊或者绕开,就是一个明确的减分项。
四、问验收标准
- 「答得准」不算标准。要问:准确率怎么测、由谁判定、达不到怎么办。
- 更有效的验收方式:定一批具体问题,提前给出可接受的答案要点,现场盲测。
没有可执行验收标准的方案,后面几乎一定扯皮。
五、问换人以后怎么办
- 你这边负责的人离职,系统还能不能正常用。
- 对方负责的人换了,知识会不会断档。
- 有没有文档、培训、备份。
演示时该记什么
不要记功能列表,记三件事:
- 哪些问题它答不上来,以及它怎么处理答不上来。
- 需要你投入多少人力和时间去准备数据和整理流程。
- 有没有一件事,是它当场就做得比你现在的做法明显好。
一个更省时间的做法
不用一次看五家。先选两家,用同一批资料、同一组问题跑一遍,横向对比。对比完再决定要不要看第三家。
下一步
准备三份资料和五个问题,做成一个固定的小包。以后每次评估供应商都用同一套,结果才可比。
要按你的行业和场景设计一版测试题,可以说清业务类型和想解决的问题,让 AI 帮你出题。