Temperature

Top-p (Nucleus Sampling)

一種 sampling 策略，模型只從累積機率達到 p 的最小候選集合中選下一個 token。它比固定 top-k 更能動態平衡多樣性與連貫性，常與 temperature 搭配使用。

Prompt Engineering

設計輸入以引導模型產生最佳輸出的實務。它包含 chain-of-thought、few-shot 範例、角色提示、結構化輸出指示與 system prompt 設計。

Inference

使用已訓練好的模型產生預測或輸出的過程，與更新權重的 training 相對。生產環境最在意 inference 的速度、成本與延遲。