30BクラスのMoEモデルが、16GBのGPUで動く。そんな工夫がローカルAI推論の定番ツール・llama.cppで現実のものになっています。しかも今は、専門家の重みをディスクから“流し込む”方式まで登場しました[2]。VRAM節約の設定は以前もお伝えしましたが、今回はその先の話です。 MoE(Mi […]
タグ: ガジェット
🔁 PS5 llama.cpp最新、GPU推論とAPIで続く追跡
🔁 前回の続き: PS5 llama.cpp続報、HackerでflashしたAI推論 📌 エグゼクティブサマリーPS5でllama.cppを動かすPS5LMが、GPU経由のAI推論とOpenAI互換APIまで進みました。27Bモデルで約20トークン毎秒、9Bで55トークン毎秒など、実測がHacke […]
🔁 追跡：PS5LMの限界とhackerの夢、ローカルAIのその後
🔁 前回の続き: 続・PS5LM最新、GPU推論でAPI端末化 📌 エグゼクティブサマリーPS5LMは脱獄PS5でllama.cppを動かし、AIのローカル推論を担う試みです。GPU推論やAPI対応が進む一方、メモリ制限やhackerの関心、実用性の議論も目立ちます。今回の追跡では数値と限界から現在 […]
🔁 続・Gemini Sparkの裏側と権限の落とし穴
🔁 前回の続き: 続・追跡：Gemini Sparkの評価と価格、Google AIの現在地 📌 エグゼクティブサマリーGemini Sparkは24時間動くGoogleの個人aiエージェントです。専用VMやMCP連携で作業を続けられますが、約100ドルのUltraと権限設定が課題です。裏側とリスク […]
RECENT COMMENTS