AIにコードを書かせて自作推論エンジンを作る試みが広がっています。ブラウザ内で量子化モデルを動かした報告がある一方、トークナイザのデバッグなどで挫折する声も目立ちます。200行のPythonで作る例やAPI料金の実例から、自作の価値と限界が見えてきます。

続きを読む →

vLLM関連のPRから次期Qwen4-27Bの痕跡が見つかり話題に。KVキャッシュのサイズは減っていないようです。一方、現行Qwen3.8-27BはRTX 3090×2(48GB)にINT4量子化で載り、KVキャッシュ約54.4万トークンまで動作します。具体的な構成と同時実行の制約を整理しました。

続きを読む →

LLM推論エンジンの自作が各所で試されています。純Python約200行でKVキャッシュ付きの生成を実現した記事や、HTML内で量子化モデルを動かした投稿が登場。ただし難所はトークナイザで、投稿者は「llama.cppをcloneしたほうがいい」と締めています。

続きを読む →

DeepSeek-V4.1-Flashの技術レポートが公開され、省メモリ推論の仕組みが明らかになりました。FP4形式のKVキャッシュでメモリ量をV4 Flash比約1/4に削減し、100万トークンの長文処理を低コストで実現。名前は「.1」でも552Bの新規事前学習モデルという点が注目です。

続きを読む →

文書画像から見出しや表の配置まで読み取るdots.ocrの推論環境を詳しく解説。推論エンジンはvLLMとTransformersの二方式が用意され、vLLM 0.11.0からは本体への公式統合も済んでいます。一方でdots.llm1側の新情報は、今回の素材からは得られませんでした。

続きを読む →

「モデルの中身を変えずに、生成を3倍以上速める。」そんな手法の最新版「EAGLE-4」が公開され、ローカルLLMコミュニティで話題になっています[1]。EAGLE-4は、EAGLEファミリーの最新世代です[2]。正式名称は「Extrapolation Algorithm for Greater La […]

続きを読む

スキャンした文書を渡すと、文字の内容だけでなく「どこに何が書いてあるか」までJSONで返ってくる。そんな軽量OCRモデルが話題になっています。鍵を握るのは推論エンジンのvLLMです。推論とは、学習済みモデルが答えを生成する処理のこと。vLLMはその処理を高速化するオープンソース基盤です。リクエストを […]

続きを読む