CSG / TECH NOTES

小智语音问答慢:关闭深度思考为何没有生效

管理配置已关闭深度思考,模型仍在额外推理。沿实际请求定位 enable_thinking 参数,记录处理方法和模型阶段耗时的验证边界。

CSG2026年10月4日约 3 分钟5 个章节
已定位整理更新

先看这里 / 问题速览

问题现象
管理配置已经关闭深度思考,普通语音问答的模型阶段仍耗时超过 2 秒。
定位结果
实际模型请求中的关闭参数没有生效。配置界面的选择,需要沿调用链核对到最终请求。
处理方式
校验实际请求与响应,在支持该参数的模型请求中显式传入布尔值 enable_thinking=false。
验证边界
原项目日志观察为模型阶段降至 0.8 秒,不代表整轮语音响应耗时;本文是既有记录的专题整理。

这篇文章从小智项目总览的响应时间优化记录中整理而来,单独留下一个容易忽略的问题:管理页面已经关闭深度思考,最终发给模型的请求却没有按预期生效。 本文沿用原项目中的日志观察,没有重新进行一轮性能测试。

问题:普通问答仍在等待额外推理

在原项目的阿里云日志排查中,普通问题的 LLM 响应耗时超过 2 秒。管理配置已经选择不启用思考,但实际调用仍然进入深度思考流程。

这个现象的关键是配置与运行行为不一致。语音链路还包括判停、识别、合成和音频发送,仅凭“回答慢”的体感,无法确定耗时来自哪一步。

定位:核对最终请求,而不只看配置界面

原项目通过模型实际请求和响应日志检查参数,确认关闭思考的参数没有生效。回看这次排查,最值得保留的是两个检查点:

  1. 先分阶段计时。 把 VAD、ASR、LLM、TTS 和发送等待分开,先判断额外等待是否发生在模型阶段。
  2. 再核对真实调用。 沿管理配置、服务读取、Provider 适配到最终模型请求逐段检查,确认传递的值和类型,而不只确认界面选项。

原记录没有把问题进一步归因到某一行配置映射或某个 SDK 版本,因此这里也不把某一种可能的实现错误写成已确认根因。

处理:显式传入布尔值 false

原项目的处理方式,是在相应模型请求中显式传入布尔值 enable_thinking=false,并对照实际请求和响应日志确认普通问答不再执行额外推理。

以下仅展示该参数的 JSON 类型,不是可直接发送的完整请求:

{
  "enable_thinking": false
}

false 是布尔值,不能仅凭界面上的文字或字符串 "false" 判断最终行为。参数所在层级、是否需要通过 SDK 的扩展字段传递,以及模型是否支持关闭思考,需要按实际 Provider 和模型核对;这里不提供跨厂商通用写法。

结果:只比较模型阶段的耗时

原项目记录的日志观察如下:

指标调整前调整后
普通问答的 LLM 响应超过 2 秒0.8 秒

按这一口径,模型阶段至少减少 1.2 秒,下降超过 60%。这不是整轮语音响应时间,也没有包含 VAD、ASR 和 TTS。 原记录未给出这组观察的完整样本数与分位数,不能把它当作所有问题的固定性能承诺。

复查这类改动时,适合保持模型、问题、上下文和网络环境一致,分别记录模型首段输出与服务端首音频时间。这样的对照能帮助判断改善来自模型参数,还是同时发生的其他调整。

留下的经验

配置保存成功,只说明设置被保存;是否生效,需要从最终请求和运行结果确认。以后再遇到“明明关了却还在运行”的问题,我会先检查值有没有沿调用链传到真正执行的地方。

完整系统架构、其他时间优化及源码依据保留在小智项目总览第 7 章。不同优化可能作用于重叠阶段,不应直接累加各自的耗时降幅。

分享: