続・Dots追跡:dots.llm1技術報告公開、専門家128人のMoE設計

Dotsシリーズの言語モデルdots.llm1の技術報告がarXivで公開されました。128の選択型専門家と2つの共有専門家を持つMoE構成で、ベンチマークでは競争力を示す一方、実行環境で性能が大きく変わる点が注目です。ローカル推論の実測値はまだ素材になく、今後の検証が待たれます。

🔁 続・Dots追跡、142B MoE「dots.llm1」の技術報告とローカル推論

DotsのMoEモデル「dots.llm1」の技術報告が公開されました。総1420億パラメータのうち140億だけを動かす設計で、11.2兆トークンの学習が明らかになっています。Qwen2.5-72Bに匹敵する性能と、学習途中チェックポイントの公開が注目点です。

Dotsの追跡記事です。dots.llm1は142BのMoEで、学習途中のチェックポイント公開が特徴です。dots.ttsは高精度の音声合成を報告する一方、ローカル推論の実測速度はまだ示されていません。