hacker任務で、公開モデルが閉じた最強候補を追い詰めています。Vals AIが報告した多段の攻撃的サイバーセキュリティタスクで、DeepSeek V4.1 Flash 1017がGPT 6 Solを上回りました。SolはDaybreakの信頼済みアクセス経由で試されています。Redditでは、Vals AIのX投稿がLocalLLaMAで共有され、AIコミュニティの注目を集めています [1]。
これは単なる質問応答ではありません。hackerは、段階的に攻め込む模擬サイバー攻撃です。AIが自分で手順を組み立てて作業を進める、エージェント型の方式に近いです。別の報道でも、同モデルがGPT-6 Solを模擬サイバー攻撃で上回ったと伝えられています [7]。閉じたモデルを信頼済みアクセスで試した結果、公開ウェイトが食いついた点が大きいです。公開ウェイトとは、モデルの中身が公開されたものです。こうした公開モデルが閉じたモデルに並ぶ場面が増えています。
Vals AIの集計では、V4.1 FlashはVals Indexで57.86%を取りました。Vals Indexは同社の総合スコアです。全体56モデル中15位、公開ウェイトでは1位です。Kimi K3の57.81%をわずかに上回りました。1テスト0.30ドルで、Kimi K3の6.47ドルより安いです。所要時間も半分未満でした [3]。上位15モデルの中で最も安い点も目立ちます [3]。安さだけでなく、タスク完了までの速さが効いています。
強みは開発と実行に近い領域です。Code Migrationでは45.62%で58モデル中9位、1テスト1ドル未満です。次の公開ウェイトGLM 5.3は44.22%で24.91ドルかかります。SkillsBenchでは69.80%で34モデル中1位、スキルなしでも61.66%です。Vibe Code Benchでは84.74%で公開ウェイト2位です。Kimi K3に0.2点差で、約40倍安く、約5倍速いです。Terminal-Bench 2.1でも74.53%で公開ウェイト2位です。エージェントベンチで上位に並んでいます [3]。
別の集計でも、このモデルの形が見えます。benchlm.aiの数値では、総合能力は65.7/100、分野中央値は50です。公開226モデル中35位、検証済み87モデル中24位と示しています。数値はカタログ内の比較で、絶対的な品質保証ではありません [2]。価格は入力0.30ドル、出力1.20ドルです。速度は231tok/s、最初の返答まで9.55秒です。コンテキストは1Mトークンです。コンテキストとは、一度に扱える文章量のことです。入力中央値0.75ドル、キャッシュ0.006ドル、混合0.75ドルと比べ、入力0.30ドルは安いです。最大出力長は別枠で追跡されています。分野中央値は94tok/s、256,000トークンです。コーディングは151モデル中18位、エージェントは130モデル中24位です。推論や多言語は順位対象外です。公開根拠が最も強いのはコーディングで、ソフトウェア開発やコード生成に向いています [2]。
この集計は、公開ソースで裏付けが取れた「検証済み」の行をカテゴリごとに分けています。強い数字が薄い根拠を隠さないようにする工夫です [2]。エージェントは10/10、コーディングは8/8、数学は3/3が検証済みです。多言語と指示追従は未測定です。推論・マルチモーダル・数学は順位対象外と表示されています。評価対象の中では、知識が36位と最も低いです。コーディングは89パーセンタイル、エージェントは82パーセンタイルです。パーセンタイルは、集団の中での相対位置を示す数値です。順位は、公開根拠を表示できる場所だけに出ます。未検証の暫定行も別扱いで見えます。レーダー図の輪郭は、近い公開スコアの6モデル中央値です。31行の公開データで一部ベンチが空欄のため、総合点の読み方には注意が必要です [2]。
このバージョンの話題は、hackerカルチャーやAIエージェントのセクションでも拡散しています。検索結果にはGPT-6.1 Solとの比較や新機能紹介が並びます [4][5][6][7]。表記はGPT 6 SolやGPT-6.1 Solと揺れます。新機能や価格の解説記事も出ています [6]。ただし、Vals AIの単発タスクに過ぎない面もあります。hacker任務の1勝と、総合的な品質は別物です。最初の返答まで9.55秒は、体感では長いです。231tok/sと速くても、返答を待つ時間が長い用途では不利になり得ます。使う前に、自分のタスクで推論設定と応答速度を試したくなります。benchlm.aiも、選ぶ前に検証するよう促しています [2]。
前世代との差は大きいです。V4 Flash 0731からVals Indexで4.3点上がりました。Legal Research Benchで11.1点、Vibe Code Benchで10.0点、Terminal-Bench 2.1で7.5点の伸びです。定価は2〜4倍高いのに、多くのエージェントベンチで1テストあたりのコストが下がっています。トークン数も減りました。Vibe Code Bench、EMB、Legal Research、Harvey’s Legal Agent Benchmarkで遅延がほぼ半減しました [3]。評価は、標準的な生成設定(temperature 1など)と高い推論設定で実施されています [3]。出力は最大384kトークンまで対応し、長い作業を一度に預ける用途に向きます [3]。AI開発の現場では、hacker対策や防御側の評価にも波及しそうです。公開ウェイトの選択肢が、エージェント作業で一段濃くなりました [2][3]。
引用ソース
- Reddit Reddit r/LocalLLaMA: Vals AI found DeepSeek V4.1 Flash 1017 beats GPT 6 Sol on their multi-step offensive cybersecurity task. Sol was tested via the Daybreak trusted access program. — https://www.reddit.com/r/LocalLLaMA/comments/1xap2aq/vals_ai_found_deepseek_v41_flash_1017_beats_gpt_6/
Vals AI found DeepSeek V4.1 Flash 1017 beats GPT 6 Sol on their multi-step offensive cybersecurity task. Sol was tested via the Daybreak trusted access program.
- Web記事 記事全文: DeepSeek V4.1 Flash 1017 Benchmarks, Pricing & Speed – benchlm.ai — https://benchlm.ai/models/deepseek-v4-1-flash
Decision snapshot
Each value carries a field reference instead of floating alone. Markers compare this model with the current ranked and priced catalog; they are not absolute quality thresholds.
Capability
65.7/100
field - Web記事 記事全文: DeepSeek V4.1 Flash Benchmarks, Cost and Capabilities | Vals AI — https://www.vals.ai/models/deepseek_deepseek-v4.1-flash
Sep 10, 2026
DeepSeek’s V4.1 Flash evaluated across our benchmark suite
We evaluated DeepSeek’s DeepSeek V4.1 Flash across our benchmark suite.
– It is the new #1 open-weight model on the Vals Index (57.86%, #15 of 56 ov - Web記事 Web検索: DeepSeek-V4.1-Flash-1017 vs GPT-6.1 Sol: Benchmarks, Pricing & Which Is … — https://llm-stats.com/models/compare/deepseek-v4.1-flash-1017-vs-gpt-6.1-sol
DeepSeek-V4.1-Flash-1017 vs GPT-6.1 Sol: Benchmarks, Pricing & Which Is …
- Web記事 Web検索: DeepSeek-V4.1-Flash vs GPT-6.1 Sol: Benchmarks, Pricing & Which Is … — https://llm-stats.com/models/compare/deepseek-v4.1-flash-vs-gpt-6.1-sol
DeepSeek-V4.1-Flash vs GPT-6.1 Sol: Benchmarks, Pricing & Which Is …
- Web記事 Web検索: DeepSeek V4.1 Flash 1017: New Features, Benchmarks & Pricing (2026) — https://www.hackaigc.com/blog/deepseek-v4-1-flash-1017-features-benchmarks
DeepSeek V4.1 Flash 1017: New Features, Benchmarks & Pricing (2026)
- Web記事 Web検索: DeepSeek V4.1 Flash 1017 vs GPT-6.1 Sol Comparison (October 2026 … — https://www.orcarouter.ai/compare/deepseek-v4.1-flash-1017-vs-gpt-6.1-sol
DeepSeek V4.1 Flash 1017 vs GPT-6.1 Sol Comparison (October 2026 …
- Web記事 Web検索: DeepSeek V4.1 Flash Beats GPT-6 Sol in a Simulated Cyber Attack … — https://alphasignal.ai/news/deepseek-v4-1-flash-beats-gpt-6-sol-in-a-simulated-cyber-attack
DeepSeek V4.1 Flash Beats GPT-6 Sol in a Simulated Cyber Attack …
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS