リビングのゲーム機が、そのままAIサーバーになる——そんな試みが一段階進みました。脱獄したPlayStation 5上でllama.cpp(ローカルで大規模言語モデルを動かす定番ソフト)を走らせる「PS5LM」が、Hacker Newsで375ポイント・87コメントを集めるなど大きな注目を浴びていま […]
MacBookで40Bモデルが毎秒125トークン、ローカル推論の実測データが充実
MacBook一台で、400億パラメータ級のAIモデルが毎秒125トークンで動く——。そんな報告がHacker Newsに投稿されました[1]。Richard Socher氏の投稿として共有された「Flint 40B」は、タイトルに「Frontier Local LLM(フロンティア級のローカルLL […]
続・DeepSeek-V4.1-Flashを2千ユーロPCで動かした結果
748Bパラメータの巨大モデルが、2千ユーロの中古PCで動き出しました。前回の記事では、ハッカー系タスクのベンチマークでDeepSeek FlashがSolを上回った話をお伝えしました。その後、今度は「自宅の機材でどこまで動くのか」というローカル推論の挑戦が話題となっています。ポイントは、動いたとい […]
続・iPhoneで35Bモデルが動く時代、ローカルAIの進化は周辺と記憶へ
スマートフォン1台の中で、350億パラメータ級のモデルが実用速度で動き始めています。Redditのr/LocalLLaMAで話題になったのは、OpenBMBが公開したMiniCPM-V 4.7の技術解説です。入力に応じて一部の専門家ネットワークだけを動かすMoE方式の35B-A3Bモデルを、その振り […]
続報：PS5LMがGPU推論に到達、27Bモデルを9〜21トークン/秒で動かす
テレビの下に置いたゲーム機が、そのままAIサーバーになる。そんな光景が、実際に動き始めました。ジャイルブレイク済みのPS5でllama.cpp(ローカルで大規模言語モデルを動かす定番ソフト)を動かすオープンソースプロジェクト「PS5LM」です。開発者はMert Cobanovさん。AlphaSign […]
Strata続報：VRAM12GBで125Bを動かす仕組みと実機検証のその後
VRAM12GBのグラフィックボード1枚で、1250億パラメータのモデルが動く——。ローカル推論エンジン「Strata」をめぐり、そんな報告が相次いでいます。開発者Niko1221氏によるオープンソースのこのプロジェクトは、Qwen3.8-Flash-Next 125Bという大型のMoEモデルを、1 […]
発売5年以上経ったRTX 3090、ローカルAI推論で再熱した理由を数値で見る
「5年前のグラフィックボードが、AIブームで再び争奪戦に」。今、海外の自作コミュニティでNVIDIAのRTX 3090がにわかに盛り上がっています。ハッカー寄りのユーザーが集うReddit(r/LocalLLaMA)には「3090への熱狂を警告するあの投稿の意味が、ようやく分かった」という書き込みが […]
続報：Claude Codeの週間上限、使い切る前に止める道具が相次ぐ
「週間上限を燃やし尽くす前に、止めたい」。Hacker Newsに投稿された小さなツール「Peras」は、Claude CodeとCodexの使用を上限消費前に一時停止する、というものでした[1]。Claude Codeには5時間のセッション制限と週間上限という二重の使用制限があり、熱心に使うほど「 […]
続・NVIDIAに殺到した350億ドルの発注、供給できるのは5〜10%
1枚約11,400ドルのGPUが、300万枚単位で動き出しました。10月20日のロイター報道によると、ByteDance(バイトダンス)、Alibaba(アリババ)、Tencent(テンセント)の中国巨大IT3社が、NVIDIAのワークステーション向けGPU「RTX PRO 5500」を合計300万 […]
量子化と先読みで1GPUのMoE推論を1.5倍にする「Specter」
1枚のGPUで巨大MoEモデルを快適に動かしたい——。ローカルでAIモデルを走らせるコミュニティの共通の願いに、量子化で答えようとする研究が話題になっています。Redditのr/LocalLLaMAに投稿されたのは、推論システム「Specter」を提案する論文です[1]。量子化とは、モデル内部の数値 […]
RECENT COMMENTS