脱獄したPS5でllama.cppを動かすPS5LMが、GPU推論とOpenAI互換APIまで進みました。27Bモデルで約20トークン毎秒、9Bで55トークン毎秒などの実測がHacker Newsで注目されています。

続きを読む →

llama.cppがCohereのMoEモデル向け専用パーサを追加しました。North Mini Codeは総30B・アクティブ3B、256Kコンテキストで、ローカル動作が視野に入ります。ただし実測の速度データはまだありません。

続きを読む →

Metaの個人AIエージェント「Muse」に、自分の動作環境を尋ねる試みが注目されています。2vCPUの仮想マシンと、ブラウザを別VMに分離する設計が見えました。実行環境の分離と、無料提供の行方が今後の焦点です。

続きを読む →

llama.cppのMoEでは、専門家を実行メモリからCPUへ逃がす仕組みが注目されています。LLaMA-MoEは動くパラメータを3.0〜3.5Bに抑え、専用フレームワークも試せる段階です。ただし実測値は乏しく、オフロード設定の重要性が際立ちます。

続きを読む →

脱獄したPS5でAIモデルを動かす試み「PS5LM」が再び注目を集めています。小型モデルの推論やAPI対応が進む一方、メモリ制限と導入の壁が課題です。実用性やコストを巡る議論も続いています。

続きを読む →

AIエージェントにメールを渡す前に、メールHTMLを無害化するローカルツールInBoxWallが公開されました。隠し文字やCSSで仕込まれた指示の埋め込みを防ぎ、安全境界をLLMの外に置く設計です。類似のローカルメールAIも注目されています。

続きを読む →

会議音声を手元で録り、文字起こしからAI要約、Obsidianのノートまで行うツールMeetCapがHacker Newsに投稿されました。要約は根拠づけとQAで補強するのが特徴です。実測速度の数値はまだありません。

続きを読む →

Pi-cowboyがCodexやClaude Code、OpenCodeをサブエージェントとして使う試みがHacker Newsに投稿されました。公式ドキュメントは文脈節約を説明し、Pi側は並列4と可視化で対応します。環境分離のPlugin化も議論されています。

続きを読む →

llama.cppがCohereの次世代MoE構造「Cohere2MoE」に対応しました。b9626とb9637の2段階で進み、North Mini Code 30Bのローカル推論に近づいています。実測速度の報告はまだありません。

続きを読む →

Cohereがllama.cpp対応を進め、視覚エンコーダとcohere2-MoEが扱えるようになりました。North Mini Codeは総30B・実際に動くのは3B、コンテキスト256Kです。注目は対応の広がりから、環境ごとの実測値へ移っています。

続きを読む →