Dotsシリーズの本体LLM「dots.llm1」の技術報告がarXivに公開されました。MoE構造でエキスパート128個+共有2個を備え、マルチGPUのエキスパート並列でよくスケールします。素材に具体的なベンチマーク数値はなく、実測検証が今後の課題です。
追跡・消えたRTX 5090の行き先 中国“転用工房”の映像が写したもの
中国でRTX 5090を解体し、AIサーバー向けに組み直す工房の映像が話題です。GPUとGDDR7メモリを別基板に載せ替える作業が大規模に行われており、輸出規制で絞られた5090D(2375 AI TOPS)より標準版(3352 AI TOPS)が狙われたと報じられています。
続報・買い占めで消えたRTX 5090、ローカル推論の実力はどこまで
買い占めで市場から消えたRTX 5090で、ローカルLLM推論の実測が相次いで公開されています。Qwenモデルでプロンプト処理約1万トークン/秒、27BモデルはMTP高速化で最高67.87トークン/秒を記録。エンジンと設定の選択が性能を左右する一方、カード価格は定価の3倍超が続いています。
続報・Intel Arc Pro B70の価格急騰を追跡、1か月で最大48%
IntelのワークステーションGPU「Arc Pro B70」が1か月足らずで最大48%値上げし、実売2000ドル目前となっています。米国30%、欧州26%、韓国48%と地域差があり、32GB VRAMで推論向けに人気だった「1GB当たりのコスパ」優位が縮まっています。
続報・llama.cppのMoE層、エキスパートをディスクから「流す」新方式
llama.cppのMoEオフロードの仕組みを解説する記事が登場しました。トークンごとに一部だけ動くMoEの性質を生かし、層の一部をRAMに置く指定と、必要なエキスパートをディスクから先回りで読むストリーミングが鍵です。ある実装では約2倍の速度向上が報告されています。
続報・自作推論エンジンに新潮流、ブラウザで動く実装と純Pythonの挑戦
自作LLM推論エンジンの挑戦が多様化し、ブラウザ内で量子化モデルを動かす試みや、純Python+NumPyだけの実装が登場しています。一方で期待200に対し20トークン/秒しか出ない壁や「llama.cppを使うべき」との声もあり、学習手段としての価値と実用の壁が同時に見えてきます。
続報・自作推論エンジンの挑戦、バイブコーディングの成果と壁
AIにコードを書かせて自作推論エンジンを作る試みが広がっています。ブラウザ内で量子化モデルを動かした報告がある一方、トークナイザのデバッグなどで挫折する声も目立ちます。200行のPythonで作る例やAPI料金の実例から、自作の価値と限界が見えてきます。
続・Muse追跡：勝手に動くAIエージェントを止める「承認」と「権限」の設計
Metaの個人AIエージェント「Muse」は、メール送信や購入の前に人間の承認を求め、アプリを閉じても作業を続ける設計です。読み書きを分ける権限システムや使い捨てカード決済など「任せるための仕組み」がそろい、実使用のレビューも出てきました。
追跡・llama.cppでスマホに巨大MoEを流す新レイヤーが登場
8GB GPUで35Bモデルを動かしたMoEオフロード技の後を受けて、スマホやノートPCで巨大MoEをストリーミングする専用レイヤーがHacker Newsに登場しました。解説記事も相次ぐ一方、投稿への反応はまだ静かで、スマホでの実測値は示されていません。
vLLMのPRに次期Qwen4-27Bの痕跡、現行27Bは48GBで54万トークン
vLLM関連のPRから次期Qwen4-27Bの痕跡が見つかり話題に。KVキャッシュのサイズは減っていないようです。一方、現行Qwen3.8-27BはRTX 3090×2(48GB)にINT4量子化で載り、KVキャッシュ約54.4万トークンまで動作します。具体的な構成と同時実行の制約を整理しました。
RECENT POST
-
2026.10.24
続・Dots追跡:dots.llm1の技術報告が公開、MoEの設計が見えてきた -
2026.10.24
追跡・消えたRTX 5090の行き先 中国“転用工房”の映像が写したもの -
2026.10.24
続報・買い占めで消えたRTX 5090、ローカル推論の実力はどこまで
RECENT COMMENTS