Unigram

ConvexTok 把分詞器變成最佳化問題

ConvexTok 把分詞器建構改寫成線性規劃，讓 tokenization 更接近最佳解，且在常見詞彙大小下可逼近最優 1% 內。