Top-p (Nucleus Sampling)

Temperature

控制輸出隨機性的 sampling 超參數。temperature 為 0 時模型總是選最高機率的下一個 token；數值越高，輸出越多樣、更有創意，但超過 1.0 容易引入噪聲。

Inference

使用已訓練好的模型產生預測或輸出的過程，與更新權重的 training 相對。生產環境最在意 inference 的速度、成本與延遲。

Prompt Engineering

設計輸入以引導模型產生最佳輸出的實務。它包含 chain-of-thought、few-shot 範例、角色提示、結構化輸出指示與 system prompt 設計。