「月額0円で、AIはどこまで使えるのか」。5ch AI板の「無料AI活用専用スレ」が更新を続けています[7]。前回の記事では、AIへの質問を目的からタスクへ分解する型や「壁打ち」フレームワーク[3]を紹介しました。その後のスレでは話が一歩進み、AIを毎日使い続けるための道具選びと運用の工夫に議論が広 […]

続きを読む

リビングのゲーム機が、そのままAIサーバーになる――。脱獄(メーカーの制限を外して自作ソフトを動かす改造)済みのPlayStation 5でAIを動かすプロジェクト「PS5LM」が注目を集めています。心臓部は、AIモデルを実行するオープンソースの推論エンジンllama.cppです。Hacker Ne […]

続きを読む

RAMが12GBのスマホで、284BのAIモデルが動き出しました。生成速度は毎秒0.94トークン。速くはありませんが、CPUだけでの実行です[4]。きっかけは、Hacker Newsに投稿された「BigMoeOnEdge」です。llama.cpp(ローカルAI実行で定番のオープンソースエンジン)の上 […]

続きを読む

AIモデルに「考える時間の予算」を自分で設定できる——Qwen3の技術報告が、そんな使い方を提示しています。前回は推論トークンを減らして効率を上げる動きを追いました。今回はその延長線上にある「1つのモデルで役割をまとめる」という流れを追います。Qwen3は、Qwenシリーズ最新バージョンの技術報告と […]

続きを読む

「そろそろllama.cppを更新するタイミングです」。Redditのr/LocalLLaMAで、こんな一言とともに話題になったのが、QSAマスク向けの新しい融合演算を追加するプルリクエストです[1]。融合演算とは、複数の演算をまとめて1つにする最適化のことです。作者はam17anさん。対象はggm […]

続きを読む

リビングのゲーム機が、そのままAIサーバーになる。そんな試みが一段階進みました。PlayStation 5を脱獄(メーカーの制限を解く改造)し、llama.cppを動かす試みが「PS5LM」です。llama.cppは、ローカルで大規模言語モデルを動かす定番ソフトです。Hacker Newsでは375 […]

続きを読む

MacBook一台で、400億パラメータ級のAIモデルが毎秒125トークンで動く——。そんな報告がHacker Newsに投稿されました[1]。Richard Socher氏の投稿として共有された「Flint 40B」は、タイトルに「Frontier Local LLM(フロンティア級のローカルLL […]

続きを読む

748Bパラメータの巨大モデルが、2千ユーロの中古PCで動き出しました。前回の記事では、ハッカー系タスクのベンチマークでDeepSeek FlashがSolを上回った話をお伝えしました。その後、「自宅の機材でどこまで動くのか」というローカル推論の挑戦が話題になっています。ポイントは、動いたという事実 […]

続きを読む

スマートフォン1台で、350億パラメータ級のモデルが実用速度で動き始めています。Redditのr/LocalLLaMAで話題なのは、OpenBMBが公開したMiniCPM-V 4.7の技術解説です。入力に応じて一部の専門家ネットワークだけを動かすMoE方式の35B-A3Bモデルです。その振り分けを一 […]

続きを読む

テレビの下に置いたゲーム機が、そのままAIサーバーになる。そんな光景が実際に動き始めました。舞台はジャイルブレイク(本体の制限を解除する改造)済みのPS5です。ローカルで大規模言語モデルを動かす定番ソフトllama.cppを、PS5で動かすオープンソースプロジェクト。それが「PS5LM」です。開発者 […]

続きを読む