Qwen3.8のローカル実行で、125B MoEのFlash-Nextと27B denseモデルの比較が進んでいます。IQ2まで圧縮したFlash-NextがQ8の27Bをコーディングで上回った報告や、RTX 4070 1枚での実測が共有され、用途別の使い分けが見えてきました。

続きを読む →

GPU1枚で、大型のAIモデルを丸ごと動かす──そんな報告がRedditで話題になっています。投稿先はローカルLLM愛好者のコミュニティr/LocalLLaMAです。ローカルLLMとは、クラウドに頼らず自分のPCで動かすAIモデルのこと。主役はQwen3.8-Flash-Nextというモデルです。こ […]

続きを読む

30B級のMoEモデルが、16GBのGPUで動くようになっています。さらに、エキスパート(専門家ネットワーク)を事前にメモリへ載せない方向まで進んできました。ローカル推論の定番llama.cppを巡るMoE最適化は、いま「オフロード(GPUに載らない重みをCPU側へ移す方式)」から「ストリーミング」 […]

続きを読む

30BクラスのMoEモデルが、16GBのGPUで動きます。そんな工夫が、ローカルAI推論の定番ツール・llama.cppで現実のものになっています。さらに今は、専門家の重みをディスクから“流し込む”方式まで登場しました[2]。VRAM(GPUのメモリ)節約の設定は以前お伝えしましたが、今回はその先の […]

続きを読む

ローカルLLMを「貴族の遊び」と見る見方は、半分だけ当たっています。オープンウェイトモデルはAPI級の性能に迫りましたが、16GB VRAMの壁やライセンス、総コストの課題は残ります。性能・権利・構成の最新動向から、現実的な線引きを整理します。

続きを読む →