llama.cppのCohere対応が視覚エンコーダまで広がりました。North Mini Codeは総30B・アクティブ3BのMoEで、ローカル実行の道が開いたと報告されています。ただし速度や電力の実測値はまだありません。
投稿者: n-kase
🔁 続・Dots、音声編集と低遅延で進むローカル推論
AI音声合成dots.ttsが、連続表現・音声編集・低遅延の数値を更新しました。Seed-TTS-EvalのWERや初音遅延85/54ms、編集ベンチdoteBenchを示しています。ローカル環境での実測情報はまだ不足しています。
🔁 PS5 llama.cpp最新、GPU推論とAPIで続く追跡
脱獄したPS5でllama.cppを動かすPS5LMが、GPU推論とOpenAI互換APIまで進みました。27Bモデルで約20トークン毎秒、9Bで55トークン毎秒などの実測がHacker Newsで注目されています。
🔁 続・Cohereモデル対応、llama.cppがMoEと画像対応を詰めた
llama.cppがCohereのMoEモデル向け専用パーサを追加しました。North Mini Codeは総30B・アクティブ3B、256Kコンテキストで、ローカル動作が視野に入ります。ただし実測の速度データはまだありません。
🔁 続:AIのMuse、自分の箱を語った2vCPUとブラウザ仲介
Metaの個人AIエージェント「Muse」に、自分の動作環境を尋ねる試みが注目されています。2vCPUの仮想マシンと、ブラウザを別VMに分離する設計が見えました。実行環境の分離と、無料提供の行方が今後の焦点です。
🔁 続・llama.cpp MoE、専門家をCPUへ逃がす動きと推論の現在
llama.cppのMoEでは、専門家を実行メモリからCPUへ逃がす仕組みが注目されています。LLaMA-MoEは動くパラメータを3.0〜3.5Bに抑え、専用フレームワークも試せる段階です。ただし実測値は乏しく、オフロード設定の重要性が際立ちます。
🔁 追跡:PS5LMの限界とhackerの夢、ローカルAIのその後
脱獄したPS5でAIモデルを動かす試み「PS5LM」が再び注目を集めています。小型モデルの推論やAPI対応が進む一方、メモリ制限と導入の壁が課題です。実用性やコストを巡る議論も続いています。
メールHTMLをAI前に無害化するInBoxWall
AIエージェントにメールを渡す前に、メールHTMLを無害化するローカルツールInBoxWallが公開されました。隠し文字やCSSで仕込まれた指示の埋め込みを防ぎ、安全境界をLLMの外に置く設計です。類似のローカルメールAIも注目されています。
🔁 続MeetCap:ローカル録音とAI要約の橋渡し
会議音声を手元で録り、文字起こしからAI要約、Obsidianのノートまで行うツールMeetCapがHacker Newsに投稿されました。要約は根拠づけとQAで補強するのが特徴です。実測速度の数値はまだありません。
🔁 最新:Claude CodeはPiで環境分離の先へ
Pi-cowboyがCodexやClaude Code、OpenCodeをサブエージェントとして使う試みがHacker Newsに投稿されました。公式ドキュメントは文脈節約を説明し、Pi側は並列4と可視化で対応します。環境分離のPlugin化も議論されています。













RECENT COMMENTS