outlier tokens

DiT 的異常 token 怎麼救

這篇論文指出，RAE-DiT 管線裡的異常 token 會干擾注意力並造成影像瑕疵，並提出 Dual-Stage Registers 來同時處理編碼器與去噪器的問題。