tail latency

為什麼路由才是模型服務的真正瓶頸

模型服務的主要限制不是推理本身，而是路由決策；誰、何時、送到哪個模型與副本，才決定延遲、成本與穩定性。