AIに頼んで推論エンジンを自作する動きに、学習教材が相次いで登場しています。ブラウザのGPU機能で量子化モデルを動かす投稿がある一方、KVキャッシュやFlash attentionを章立てで学べる書籍も現れました。投稿者の結論は「llama.cppをcloneせよ」で、学習と実用の棲み分けが鮮明になっています。

続きを読む →

Redditで、AIとの対話でLLM推論エンジンを自作した報告が話題です。GGUFのQ4量子化モデルをブラウザのWebGL2で動かせた一方、トークナイザはデバッグ地獄だったといい、結論は「llama.cppをクローンしろ」。自作の価値と限界がわかる投稿です。

続きを読む →