30BクラスのMoEモデルが、16GBのGPUで動く。そんな工夫がローカルAI推論の定番ツール・llama.cppで現実のものになっています。しかも今は、専門家の重みをディスクから“流し込む”方式まで登場しました[2]。VRAM節約の設定は以前もお伝えしましたが、今回はその先の話です。 MoE(Mi […]
タグ: VRAM
🔁 最新：ローカルLLMは貴族の遊びか 損益とVRAMで追跡
🔁 前回の続き: 続：160GBミニPCと256GB級で見るローカルLLMの階層 📌 エグゼクティブサマリーオープンウェイトの性能向上と150W級推論機の話題で、ローカルLLMは単純な貴族の遊びではなくなっています。ただ16GB VRAMや損益分岐の壁も残ります。性能・ライセンス・構成の最新動向から […]
RECENT COMMENTS