巨大MoEモデルのエキスパートをディスクから直接読み込む推論方式が、llama.cpp周辺で具体化してきました。ルーターとattentionの計算の隙間を先読みに使い、概ね2倍の速度向上が報告されています。実装や検証記事も出そろい、24GBでの96K主張の裏付けも問われ始めました。

続きを読む →

Kimi開発元のMoonshot AIが2.8Tパラメータのオープンモデル「Kimi K3」を発表し、事後学習版「Kimi K3.1 Pro」の技術ブログが話題です。K3.1 Proは数百ドメインへの大規模強化学習で、歩行シミュレータ構築時に36箇所の誤りを自力修正しました。重みは11月4日公開予定です。

続きを読む →

AIに頼んで推論エンジンを自作する動きに、学習教材が相次いで登場しています。ブラウザのGPU機能で量子化モデルを動かす投稿がある一方、KVキャッシュやFlash attentionを章立てで学べる書籍も現れました。投稿者の結論は「llama.cppをcloneせよ」で、学習と実用の棲み分けが鮮明になっています。

続きを読む →

llama.cppのMoEオフロードについて、仕組みと速度の代償を解説する記事が相次ぎ登場しました。エキスパート重みをシステムRAMに置く手法は235Bモデルを16GB GPUで動かせますが、速度との交換です。ディスクからの先読みでは約2倍のスループット向上が報告されています。

続きを読む →

スマホやノートPCで大型MoEを動かす試みが進み、llama.cpp上の新ツールが登場しました。エキスパートをRAMやディスクから必要な分だけ読む手法が広がり、8GB GPUでも35Bモデルが動き、概ね2倍の速度向上の報告もあります。

続きを読む →

巨大MoEモデルをスマホやノートPCで動かすため、llama.cppの上にストリーミング層を追加したプロジェクトがHacker Newsに投稿されました。MoEはトークンごとに一部のパラメータだけを計算する仕組みで、エキスパートを必要な時に読み込む手法では約2倍の速度向上も報告されています。

続きを読む →