VRAM12GBのグラフィックボード1枚で、1250億パラメータのモデルが動く——。ローカル推論エンジン「Strata」をめぐり、そんな報告が相次いでいます。開発者Niko1221氏によるオープンソースのこのプロジェクトは、Qwen3.8-Flash-Next 125Bという大型のMoEモデルを、1 […]

続きを読む

「5年前のグラボが、AIブームで再び争奪戦に」。今、海外の自作コミュニティでNVIDIAのRTX 3090がにわかに盛り上がっています。ハッカー寄りのユーザーが集うReddit(r/LocalLLaMA)には「3090への熱狂を警告するあの投稿の意味が、ようやく分かった」という書き込みが上がりました […]

続きを読む

「週間上限を燃やし尽くす前に、止めたい」。Hacker Newsに投稿された小さなツール「Peras」は、Claude CodeとCodexの使用を、上限を消費し切る前に一時停止するというものでした[1]。Claude Codeには5時間のセッション制限と週間上限という二重の使用制限があります。熱心 […]

続きを読む

1枚約11,400ドルのGPUが、300万枚単位で動き出しました。10月20日のロイター報道によると、中国巨大IT3社がNVIDIAのワークステーション向けGPU「RTX PRO 5500」を合計300万枚超発注したといいます[5]。発注したのは、ByteDance(バイトダンス)、Alibaba( […]

続きを読む

1枚のGPUで巨大MoEモデルを快適に動かしたい——。ローカルでAIモデルを走らせるコミュニティの共通の願いに、量子化で答える研究が話題です。Redditのr/LocalLLaMAに投稿されたのは、推論システム「Specter」を提案する論文です[1]。量子化とは、モデル内部の数値の精度を下げてサイ […]

続きを読む

数カ月かかる大規模なコード改修を、AIが数週間で終わらせた——。GoogleのGeminiを使った実例が報告され、話題になっています。前回は、エージェントの評価を繰り返しても見えてくる品質の壁を取り上げました。今回はその後の動きとして、実戦の大規模開発で何が起きているのかを追います。 いちばん具体的 […]

続きを読む

「モデルの中身を変えずに、生成を3倍以上速める。」そんな手法の最新版「EAGLE-4」が公開され、ローカルLLMコミュニティで話題になっています[1]。EAGLE-4は、EAGLEファミリーの最新世代です[2]。正式名称は「Extrapolation Algorithm for Greater La […]

続きを読む

GPU1枚で、大型のAIモデルを丸ごと動かす──そんな報告がRedditで話題になっています。投稿先はローカルLLM愛好者のコミュニティr/LocalLLaMAです。ローカルLLMとは、クラウドに頼らず自分のPCで動かすAIモデルのこと。主役はQwen3.8-Flash-Nextというモデルです。こ […]

続きを読む

30B級のMoEモデルが、16GBのGPUで動くようになっています。さらに、エキスパート(専門家ネットワーク)を事前にメモリへ載せない方向まで進んできました。ローカル推論の定番llama.cppを巡るMoE最適化は、いま「オフロード(GPUに載らない重みをCPU側へ移す方式)」から「ストリーミング」 […]

続きを読む

航空券の値下がりを、AIが24時間体制で見張って知らせる——そんな使い方が現実に近づいています。Googleは新エージェント「Gemini Spark」を、開発者向けイベント「I/O 2026」で発表しました[1]。仕組みはシンプルです。ユーザーが仕事を頼み、必要なアプリの利用を許可すると、Spar […]

続きを読む