Henry (@yiyulianzhou)从关注 AI 的“情绪价值”,到关注工程的“确定性”。 中发帖

昨天看到大家又在热议“某某模型是不是降智了”、“我有没有被灰度到新版本”、“感觉这次请求命中缓存了”…… 
以前我也很关注这些,甚至每天上网看各种评测。但最近埋头搞需求、写业务代码,突然意识到一个心态上的转变: 


普通用户看的是“情绪值”: 今天回答爽不爽、有没有答非所问、是不是被隐性降级了。 


开发者看的是“吞吐与确定性”: 提示词防破甲了吗?Prompt Caching 帮我省了多少 Token 成本?异步队列吞吐量稳不稳?边界条件处理干净了吗? 


所谓的“降智/升智”,站在工程角度无非是平台在高峰期的推理路由策略、模型量化级别调整;所谓的“命中缓存”,背后也是为了解决**长上下文响应延迟(TTFT)**的硬核优化。 
拿 AI 搞生产,最忌讳的就是把系统搭建在“不确定的体验”上。真正上工程的时候,“上手就开蹬”把业务闭环跑通,用结构化 Prompt、Schema 校验和防...
 
 
Back to Top