買い占めで市場から消えたRTX 5090で、ローカルLLM推論の実測が相次いで公開されています。Qwenモデルでプロンプト処理約1万トークン/秒、27BモデルはMTP高速化で最高67.87トークン/秒を記録。エンジンと設定の選択が性能を左右する一方、カード価格は定価の3倍超が続いています。
タグ: VRAM
続報・llama.cppのMoE層、エキスパートをディスクから「流す」新方式
llama.cppのMoEオフロードの仕組みを解説する記事が登場しました。トークンごとに一部だけ動くMoEの性質を生かし、層の一部をRAMに置く指定と、必要なエキスパートをディスクから先回りで読むストリーミングが鍵です。ある実装では約2倍の速度向上が報告されています。
追跡・llama.cppでスマホに巨大MoEを流す新レイヤーが登場
8GB GPUで35Bモデルを動かしたMoEオフロード技の後を受けて、スマホやノートPCで巨大MoEをストリーミングする専用レイヤーがHacker Newsに登場しました。解説記事も相次ぐ一方、投稿への反応はまだ静かで、スマホでの実測値は示されていません。
追跡・スマホで巨大MoEを動かす新レイヤーがHacker Newsに登場
llama.cppの上でスマホやノートPCに巨大MoEをストリーミング実行するレイヤー「BigMoeOnEdge」がHacker Newsに投稿されました。MoEは35Bのうち約3Bだけを推論時に活性化する構造で、休眠層をRAMに置けば8GB GPUでも17.7GBのモデルが動きます。ただしスマホでの実測速度はまだ公開されていません。
続・DeepSeek-V4.1-Flashを2千ユーロPCで動かした結果
GPUなしのPCでDeepSeek V4 Flash(284B)を動かす実測が話題です。1トークンあたり13Bだけが稼働するMoEで、必要なのはメモリの速度でなく容量。大容量DDR5が24GB GPUより有利な一方、ローカル用重みはAPIのV4.1-Flash(552B)とは別物という落とし穴もあります。
続・llama.cpp MoE追跡、8GB GPUで35Bが動きスマホも視野
llama.cppのMoEオフロードをめぐり、8GBノートGPUで35Bモデルを動かした実験や、スマホで大型MoEをストリーミングする新プロジェクトが登場しました。エキスパート層をRAMへ退避させる手法の解説が増える一方、スマホ向けは注目が限定的で、実測速度の報告もまだ見当たりません。
使う分だけ読み込む:巨大MoEをスマホやPCで動かすストリーミング推論
MoEモデルの専門家を必要な分だけディスクやRAMから読み込む「ストリーミング推論」の試みが相次いでいます。llama.cppでは30B級モデルが16GB GPUで動き、読み込みと計算の重ね合わせで約2倍の速度向上も報告されました。ローカル推論のメモリとの付き合い方が変わる可能性を示す話題です。
5060 Ti 2枚で新モデル18個を試しても、Qwen3.8-27Bは消えなかった
RTX 5060 Ti 2枚の環境で新しいローカルLLMを18個試したところ、どれもQwen3.8-27Bを置き換えられなかったというテストが話題です。2枚構成は32GBのVRAMでMoEモデルに強く、従来型モデルでは帯域の広いRTX 3090が速いなど、構成ごとの得意分野が見えてきました。
16GBのGPUでAIはどこまで動くか、RTX 5060 Ti実測検証が相次ぐ
RTX 5060 Ti(16GB)でのローカルAI推論の実測検証が相次いでいます。8Bモデルを76トークン/秒で安定動作し、30人同時でもエラーゼロ。一方で30Bクラスは1枚では動かず、新モデル18個の比較でも既存モデルを超えたものはなかったと報告されています。
続報・RTX 3090の中古価格は1月比5割上昇、その裏にはリスクも
3世代前のRTX 3090が中古市場で値上がりし、1月から約5割の上昇。eBay落札68件の集計では中古品の中央値が1,275ドルに達しました。24GB VRAMが34Bクラスのローカル推論の分かれ目であることが背景で、購入リスクも増えています。
RECENT POST
-
2026.11.10
続・llama.cppの切替高速化、KV cacheの残し方が鍵 -
2026.11.10
続・RTX 3090、2026年に24GBがAIと4Kで再評価 -
2026.11.10
続・qwen-concept-27b、重み編集で思考トークン減りスコア増
RECENT COMMENTS