スマートフォン1台の中で、350億パラメータ級のモデルが実用速度で動き始めています。Redditのr/LocalLLaMAで話題になったのは、OpenBMBが公開したMiniCPM-V 4.7の技術解説です。入力に応じて一部の専門家ネットワークだけを動かすMoE方式の35B-A3Bモデルを、その振り分けを一切変えずにiPhone上で推論させ、iPhone 18 Pro Maxで毎秒20.51トークンを達成したという報告です。クラウドに頼らず端末で完結させる動きは、ローカルAIコミュニティで引き続き関心を集めています。
ポイントは、モデルを小型化したり専門家を間引いたりしない点です。開発陣はボトルネックを「専門家の重みをフラッシュストレージから計算側へどれだけ速く運べるか」と捉え直しました。次の層で必要になりそうな専門家を予測し、現在の計算の裏側で重みを先読みします。準備ができた専門家から実行する「Lookahead Expert Scheduling(LES)」が核です。重み配置の最適化、混合精度の量子化、DSpark推測デコーディングを組み合わせ、ベースラインの毎秒3.38トークンから6.07倍に引き上げています。専門家の重みは26.7%削減しながら、5つのベンチマークでの低下は0.16ポイントに抑わり、低メモリ構成ではピーク約3GBで収まるといいます。モデルの中身に手を加えない分、ストレージと計算の連携という地味な層の詰めで速度を作る手法です。
モデルの「内側」にも新しい流れがあります。MemT-1.0は、記憶を外部ツールに任せず、モデルの計算そのものに組み込む「メモリ基盤モデル」の提案です。Metisを土台に、ターンごとに記憶を安定して更新するGated DeltaNet-2と、記憶容量を拡張するMixture-of-Storageを備えます[5]。340億トークンの学習データと、事前学習の継続と事後学習の2段階パイプラインで訓練されました[5]。NanoとFlashの2モデルが公開されました。パラメトリック記憶のベースラインを平均で上回り、検索で補う方式(RAG)とも競争力を保つと報告されています[5]。外部に送らず記憶を蓄えられるかは、ローカル運用の快適さとプライバシーの両面に関わると考えられます。
本体の「周辺」でも、実運用ならではの工夫が相次いでいます。Hacker Newsでは、ブラウザ内で動くローカルLLMでウェブサイト・メモ・ファイルを整理するRocusが投稿されました。4ポイント・コメント0件と反応はまだ小さなものの、端末内で完結させる方向性はここまでの流れと重なります[2]。Redditでは、ウェイクワードを好きな語に設定でき、音声認識の手前で自分の声だけを残す小型フロントエンドが公開されました。5つのモデルで合計7.5MB、Apache-2.0の早期プレビューです[1]。作者は本業で音声パイプラインを複数運用しており、ブラウザの音声エージェントでは発話の区切り判定や割り込み処理を小さなモデルで判断していると明かします。そのうえで「困難の多くはLLM本体ではなく、その手前で起きていた」と述べています[1]。r/LocalLLaMAの隔週紹介スレッドでは、数時間でAIに作らせたのではないかを見分ける検証の提示が求められています。公開側にも検証文化が根づいているようです。
しかし、技術の速度に現場が追いついていない姿も、同じ素材の中に見えます。富士通ラーニングメディアの解説は、生成AIを導入しても個人の効率化にとどまり、業務フローが変わらないまま投資効果を説明できない企業が少なくないと指摘します[7]。人材育成が体系化されていない、先行部門で止まり全社に広がらないといった典型パターンも整理されています[7]。そのうえで「成果が出ない原因はAIの機能不足ではなく、業務・人材・組織が連動していないことかもしれない」と述べています[7]。AIを前提に業務や人材を再設計するAXへの転換を促す内容です。端末では毎秒20トークンが現実になりつつある一方、組織の変革の速度はまだ別のようです。
プラットフォーム側の道具にも制約があります。X公式のリアルタイム分析ツール「Radar」は、投稿数そのものではなく増加の勢いを測る「会話速度」という指標が特徴です。炎上やバズの兆候を数秒から数分単位で捉えられると解説されています[3]。もともと法人向け高額プランの機能を、個人プロユーザーにも広げた経緯があります[3]。一方でPremium+プランでは参照期間が72時間に制限され、週末をまたぐ分析には月額200ドルの法人向けプランの検討が必要になるといいます[3]。リアルタイム性を取るか、参照の長さと費用を取るかという構図は、無料で端末内で完結するローカルツール群との対比として興味深いところです。なおHacker Newsでは、推測不要の設計を売りにするタイル回転パズル「Daily Pipes」も静かに投稿されていました[6]。
こうした動きを背景に、Xの日本のトレンドには「AI事業」という語が浮上しています[4]。2026年に向けた先端技術のまとめでは、AI・量子・XRがビジネスと社会を変える分野として挙げられています[8]。X上ではAIニュースを記録するアカウントや専用サイトも定着しつつあるようです。重みの運び方から記憶の持ち方まで、進化の現場はモデル本体の外と内の両方に広がっています。次に問われるのは、速さの数値そのものではなく、その速さを業務と組織が受け止められるかどうかだと考えられます。
RECENT COMMENTS