📌 エグゼクティブサマリー
Vals AIの多段サイバー攻撃タスクで、DeepSeek V4.1 Flash 1017がGPT 6 Solを上回った。Vals Index 57.86%、1テスト0.30ドルと高速。エージェント作業での実力と注意点も把握できる。
hacker任務で、公開モデルが閉じた最強候補を追い詰めています。Vals AIが報告した内容では、多段の攻撃的サイバーセキュリティタスクでDeepSeek V4.1 Flash 1017がGPT 6 Solを上回ったとしています。SolはDaybreakの信頼済みアクセス経由で試されています。Redditでは、Vals AIのX投稿をLocalLLaMAの話題として共有し、AIコミュニティの注目を集めています [1]。
これは単なる質問応答ではありません。hackerのように段階的に攻め込む、エージェント型の模擬サイバー攻撃に近いです。別の報道でも、DeepSeek V4.1 FlashがGPT-6 Solを模擬サイバー攻撃で上回ったと伝えられています [7]。閉じたモデルを信頼済みアクセスで試した結果として、公開ウェイトが食いついた点が大きいです。公開ウェイトが閉じたモデルに並ぶ場面が増えているようです。
Vals AIの集計では、V4.1 FlashはVals Indexで57.86%を取り、全体56モデル中15位、公開ウェイトでは1位となっています。Kimi K3の57.81%をわずかに上回り、1テスト0.30ドルで、Kimi K3の6.47ドルより安いです。所要時間も半分未満でした [3]。上位15モデルの中で最も安い点も目立ちます [3]。安さだけでなく、タスク完了までの速さが効いています。
強みは開発と実行に近いです。Code Migrationでは45.62%で58モデル中9位、1テスト1ドル未満です。次の公開ウェイトGLM 5.3は44.22%で24.91ドルかかります。SkillsBenchでは69.80%で34モデル中1位、スキルなしでも61.66%です。Vibe Code Benchでは84.74%で公開ウェイト2位、Kimi K3に0.2点差、約40倍安く、約5倍速いです。Terminal-Bench 2.1でも74.53%で公開ウェイト2位です。エージェントベンチで上位に並んでいます [3]。
別の集計でも、このモデルの形が見えます。benchlm.aiが示した数値では、総合能力65.7/100、分野中央値50、公開226モデル中35位、検証済み87モデル中24位と示しています。数値はカタログ内の比較で、絶対的な品質保証ではありません [2]。入力0.30ドル、出力1.20ドルです。速度231tok/s、初出まで9.55秒です。コンテキスト1Mトークンです。入力中央値0.75ドル、キャッシュ0.006ドル、混合0.75ドルと比べ、入力0.30ドルは安いです。最大出力長は別枠で追跡されています。分野中央値は94tok/s、256,000トークンです。コーディングは151モデル中18位、エージェントは130モデル中24位です。推論や多言語は順位対象外です。公開根拠が最も強いのはコーディングで、ソフトウェア開発やコード生成に向くようです [2]。
この集計は、公開ソースに紐づく検証済み行をカテゴリごとに分けています。カテゴリごとに分けることで、強い数字が薄い根拠を隠さないようにしています [2]。エージェントは10/10、コーディングは8/8、数学は3/3が検証済みです。確認したところ、多言語と指示追従は未測定です。推論・マルチモーダル・数学は順位対象外と表示されています。知識は適格カテゴリで36位と最も低いです。コーディングは89パーセンタイル、エージェントは82パーセンタイルです。順位は、公開根拠を表示できる場所だけに出ます。暫定行、つまり未検証の行も別扱いで見えます。レーダー図の輪郭は、近い公開スコアの6モデル中央値です。31行の公開データで一部ベンチが空欄なので、総合点の読み方には注意が必要です [2]。
このバージョンの話題は、hackerカルチャーやAIエージェントのセクションでも拡散しています。検索結果にはGPT-6.1 Solとの比較や新機能紹介が並び、比較したくなる記事が目立ちます [4][5][6][7]。表記はGPT 6 SolやGPT-6.1 Solと揺れます。新機能や価格の解説記事も出ています [6]。ただし、Vals AIの単発タスクに過ぎない面もあるようです。初出までの9.55秒は、体感では長いようです。高速な231tok/sでも、最初の返答を待つ用途では不利になり得ます。
前世代との差は大きいです。V4 Flash 0731からVals Indexで4.3点上がったほか、Legal Research Benchで11.1点、Vibe Code Benchで10.0点、Terminal-Bench 2.1で7.5点伸びました。定価は2〜4倍高いのに、多くのエージェントベンチで1テストあたりのコストが下がっています。トークン数が減りました。Vibe Code Bench、EMB、Legal Research、Harvey’s Legal Agent Benchmarkで遅延がほぼ半減しました [3]。評価はtemperature 1、既定のtop-p、高い推論設定で実施されています [3]。
コンテキストは1Mトークン、出力は最大384kトークンまで対応しています [3]。長い作業を一度に預ける用途に向くようです。ただし、hacker任務の1勝と、総合的な品質は別物です。使う前に、自分のタスクで推論設定と初出速度を試したくなります。benchlm.aiも、選ぶ前に検証するよう促しています [2]。AI開発の現場では、hacker対策や防御側の評価にも波及するようです。公開ウェイトの選択肢が、エージェント作業で一段濃くなったようです [2][3]。
引用ソース
- [1] Reddit Reddit r/LocalLLaMA: Vals AI found DeepSeek V4.1 Flash 1017 beats GPT 6 Sol on their multi-step offensive cybersecurity task. Sol was tested via the Daybreak trusted access program. — https://www.reddit.com/r/LocalLLaMA/comments/1xap2aq/vals_ai_found_deepseek_v41_flash_1017_beats_gpt_6/
Vals AI found DeepSeek V4.1 Flash 1017 beats GPT 6 Sol on their multi-step offensive cybersecurity task. Sol was tested via the Daybreak trusted access program.
- [2] Web記事 記事全文: DeepSeek V4.1 Flash 1017 Benchmarks, Pricing & Speed – benchlm.ai — https://benchlm.ai/models/deepseek-v4-1-flash
Decision snapshot
Each value carries a field reference instead of floating alone. Markers compare this model with the current ranked and priced catalog; they are not absolute quality thresholds.
Capability
65.7/100
field - [3] Web記事 記事全文: DeepSeek V4.1 Flash Benchmarks, Cost and Capabilities | Vals AI — https://www.vals.ai/models/deepseek_deepseek-v4.1-flash
Sep 10, 2026
DeepSeek’s V4.1 Flash evaluated across our benchmark suite
We evaluated DeepSeek’s DeepSeek V4.1 Flash across our benchmark suite.
– It is the new #1 open-weight model on the Vals Index (57.86%, #15 of 56 ov - [4] Web記事 Web検索: DeepSeek-V4.1-Flash-1017 vs GPT-6.1 Sol: Benchmarks, Pricing & Which Is … — https://llm-stats.com/models/compare/deepseek-v4.1-flash-1017-vs-gpt-6.1-sol
DeepSeek-V4.1-Flash-1017 vs GPT-6.1 Sol: Benchmarks, Pricing & Which Is …
- [5] Web記事 Web検索: DeepSeek-V4.1-Flash vs GPT-6.1 Sol: Benchmarks, Pricing & Which Is … — https://llm-stats.com/models/compare/deepseek-v4.1-flash-vs-gpt-6.1-sol
DeepSeek-V4.1-Flash vs GPT-6.1 Sol: Benchmarks, Pricing & Which Is …
- [6] Web記事 Web検索: DeepSeek V4.1 Flash 1017: New Features, Benchmarks & Pricing (2026) — https://www.hackaigc.com/blog/deepseek-v4-1-flash-1017-features-benchmarks
DeepSeek V4.1 Flash 1017: New Features, Benchmarks & Pricing (2026)
- [7] Web記事 Web検索: DeepSeek V4.1 Flash 1017 vs GPT-6.1 Sol Comparison (October 2026 … — https://www.orcarouter.ai/compare/deepseek-v4.1-flash-1017-vs-gpt-6.1-sol
DeepSeek V4.1 Flash 1017 vs GPT-6.1 Sol Comparison (October 2026 …
- [8] Web記事 Web検索: DeepSeek V4.1 Flash Beats GPT-6 Sol in a Simulated Cyber Attack … — https://alphasignal.ai/news/deepseek-v4-1-flash-beats-gpt-6-sol-in-a-simulated-cyber-attack
DeepSeek V4.1 Flash Beats GPT-6 Sol in a Simulated Cyber Attack …
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS