llama.cppがCohereの次世代MoE構造「Cohere2MoE」に対応しました。b9626とb9637の2段階で進み、North Mini Code 30Bのローカル推論に近づいています。実測速度の報告はまだありません。
投稿者: n-kase
🔁 続報:llama.cppがCohere対応を深めた最新状況
Cohereがllama.cpp対応を進め、視覚エンコーダとcohere2-MoEが扱えるようになりました。North Mini Codeは総30B・実際に動くのは3B、コンテキスト256Kです。注目は対応の広がりから、環境ごとの実測値へ移っています。
🔁 最新:ローカルLLMは貴族の遊びか 損益とVRAMで追跡
ローカルLLMを「貴族の遊び」と見る見方は、半分だけ当たっています。オープンウェイトモデルはAPI級の性能に迫りましたが、16GB VRAMの壁やライセンス、総コストの課題は残ります。性能・権利・構成の最新動向から、現実的な線引きを整理します。
🔁 追跡:AI漫画スレはプロンプト共有と評価の場へ
AI漫画スレでは、プロンプトや設定ファイルの共有が本格化し、1ページ6〜10コマ指定が守られないことが報告されています。評価の軸は生成力から再現性へ移り、エージェント名の開示要望や拒否報告など、実務的な課題が見えています。
AIエージェントの長丁場を測るTerminal Bench v4
Terminal-Bench 4.0は66タスクで、Claude Opus 5.5が64.85%と首位です。RedditではKimi K3の成績差が問われ、評価の読み方が注目されています。タスク設計と順位表の注意点を整理します。
🔁 追跡:無料 AI スレは自動化と開発環境へ
無料 AI 活用スレでは、画像生成の無料化から進み、予定実行や Webhook、質問設計、開発環境の話題へ広がっています。無料枠の拡張と運用の工夫が見える一方、速度や品質の実測値はまだ乏しい状況です。
🔁 続・ローカルAIの周辺、音声モデルと信頼性の最新
inclusionAIが126B MoEの音声モデルをMITライセンスで公開し、ローカル運用の参考構成が話題です。一方、公称ベンチが独立評価より平均6.4%高いとの報告や、Mac向け構成比較ツールの登場など、AIを点検する動きも進んでいます。
gVisorでAIエージェントを隔離する試み
AIエージェントが勝手にコードを実行する時代になり、その隔離手法が注目されています。Hacker NewsではgVisorを使う小さな試みが話題に。軽さと隔離の強さのバランスをどう取るかが課題です。
🔁 追跡: Intel Xeon新旧とaudio-flashの壁
Intelの新サーバーCPU「Xeon 6527P」と旧型Xeonの性能差をPassMark数値で比較しました。音声モデル「Ming-3.0-audio-flash」は126Bのうち6.5Bだけを動かすMoE構成です。NPUやArcの実測値は素材にありません。
🔁 続・gVisorでAIエージェントを隔離、失敗処理と百万規模の運用
gVisorでAIエージェントを隔離する動きが、個人開発から大規模運用へ進んでいます。Tencentは毎日数百万のサンドボックスを動かし、74,000件の比較で互換性の差をほぼ埋めました。課題の核心は、隔離そのものより失敗後の運用に移っています。












RECENT COMMENTS