Dotsファミリーの大規模MoE「dots.llm1」の設計と公開方針を整理しました。142B中14Bだけを動かす構造に加え、合成データなしの事前学習でQwen2.5-72Bに並ぶ性能と、学習全過程の中間チェックポイント公開が特徴です。日本語非対応と実測値の不足が課題として残ります。

続きを読む →

Dots AIのLLM「dots.llm1」を改めて掘り下げた。総142BのMoEで、推論時に動くのは14Bだけ。合成データなしの学習でQwen2.5-72Bに匹敵するとし、学習途中のチェックポイントもMITライセンスで公開している。一方で、実測TPSなどのローカル実行データは素材に見つからなかった。

続きを読む →

QwenベースのファインチューンモデルTess-4.5-27Bが、推論トークンを約25%減らして同じスコアを出したと報告されました。コマンドライン作業では32%減、データ抽出では43%減という内訳です。ローカル推論の待ち時間短縮が期待されます。

続きを読む →