这篇文章从小智项目总览的响应时间优化记录中整理而来,单独留下一个容易忽略的问题:管理页面已经关闭深度思考,最终发给模型的请求却没有按预期生效。 本文沿用原项目中的日志观察,没有重新进行一轮性能测试。
问题:普通问答仍在等待额外推理
在原项目的阿里云日志排查中,普通问题的 LLM 响应耗时超过 2 秒。管理配置已经选择不启用思考,但实际调用仍然进入深度思考流程。
这个现象的关键是配置与运行行为不一致。语音链路还包括判停、识别、合成和音频发送,仅凭“回答慢”的体感,无法确定耗时来自哪一步。
定位:核对最终请求,而不只看配置界面
原项目通过模型实际请求和响应日志检查参数,确认关闭思考的参数没有生效。回看这次排查,最值得保留的是两个检查点:
- 先分阶段计时。 把 VAD、ASR、LLM、TTS 和发送等待分开,先判断额外等待是否发生在模型阶段。
- 再核对真实调用。 沿管理配置、服务读取、Provider 适配到最终模型请求逐段检查,确认传递的值和类型,而不只确认界面选项。
原记录没有把问题进一步归因到某一行配置映射或某个 SDK 版本,因此这里也不把某一种可能的实现错误写成已确认根因。
处理:显式传入布尔值 false
原项目的处理方式,是在相应模型请求中显式传入布尔值 enable_thinking=false,并对照实际请求和响应日志确认普通问答不再执行额外推理。
以下仅展示该参数的 JSON 类型,不是可直接发送的完整请求:
{
"enable_thinking": false
}
false 是布尔值,不能仅凭界面上的文字或字符串 "false" 判断最终行为。参数所在层级、是否需要通过 SDK 的扩展字段传递,以及模型是否支持关闭思考,需要按实际 Provider 和模型核对;这里不提供跨厂商通用写法。
结果:只比较模型阶段的耗时
原项目记录的日志观察如下:
| 指标 | 调整前 | 调整后 |
|---|---|---|
| 普通问答的 LLM 响应 | 超过 2 秒 | 0.8 秒 |
按这一口径,模型阶段至少减少 1.2 秒,下降超过 60%。这不是整轮语音响应时间,也没有包含 VAD、ASR 和 TTS。 原记录未给出这组观察的完整样本数与分位数,不能把它当作所有问题的固定性能承诺。
复查这类改动时,适合保持模型、问题、上下文和网络环境一致,分别记录模型首段输出与服务端首音频时间。这样的对照能帮助判断改善来自模型参数,还是同时发生的其他调整。
留下的经验
配置保存成功,只说明设置被保存;是否生效,需要从最终请求和运行结果确认。以后再遇到“明明关了却还在运行”的问题,我会先检查值有没有沿调用链传到真正执行的地方。
完整系统架构、其他时间优化及源码依据保留在小智项目总览第 7 章。不同优化可能作用于重叠阶段,不应直接累加各自的耗时降幅。