スキャンした文書を渡すと、文字の内容だけでなく「どこに何が書いてあるか」までJSONで返ってくる。そんな軽量OCRモデルが、推論エンジンvLLMとの組み合わせで話題になっています。vLLMは大規模言語モデルの推論(学習済みモデルが答えを生成する処理)を高速化するオープンソース基盤です。リクエストをま […]
RECENT POST
-
NO IMAGE
2026.10.22
続報:PS5LMがGPU推論に到達、27Bモデルを9〜21トークン/秒で動かす -
NO IMAGE
2026.10.22
Strata続報:VRAM12GBで125Bを動かす仕組みと実機検証のその後 -
NO IMAGE
2026.10.22
発売5年以上経ったRTX 3090、ローカルAI推論で再熱した理由を数値で見る
RECENT COMMENTS