ローカルAIのllama.cppで、モデル切替や再起動後に推論が遅くなる原因がKVキャッシュの再計算にあると話題です。スリープで2秒以内の切替、セッションの保存・復元が注目されています。キャッシュ再利用の仕組みと注意点、ベンチマークの使い方もわかります。

続きを読む →