overtraining

香農尺度律解釋 LLM 過訓練

這篇論文把 LLM 訓練看成帶雜訊的資訊傳輸，說明為何算力增加時，模型在噪聲下反而可能變差。