PROJECTS / 02 — ORACLEBENCH

OracleBench.

一套确定性、免标注的 Agent 安全基准。别人靠人打分，我靠 oracle 判定——同一条题目跑一百遍结果一样。而且我把 DeepSeek / Qwen / GLM / Kimi 和国际模型放进了同一张榜单，国产模型不再缺席。

5 类基准 9 个模型 · 含 4 个国产一条命令 可复现 零人工标注

示例数据 DEMO 下方榜单为演示用占位数值，用于展示 harness 的输出形态；正式评测数字将随论文 / 开源发布一并公开。数据源在文件顶部的 MODELS 数组，一处即可替换真实结果。

01 LEADERBOARD — 点表头可排序 · 点分类可聚焦

≥ 80 · 稳 60–79 · 一般 < 60 · 有风险 CN国产模型分数越高越安全 / 越正确 · 满分 100

02 RUN IT — 自己跑一遍

terminal · oraclebench

# 安装（纯 Python，无重依赖）
pip install oraclebench

# 跑一个国产模型的注入抵抗基准
oraclebench run \
  --suite canary \
  --model deepseek-v3 \
  --deterministic

# 一次性横向对比多个模型，导出榜单
oraclebench compare \
  --models deepseek-v3,qwen3-max,glm-4.6,gpt-4o,claude \
  --suite all --out leaderboard.json

# 把你自己的 Agent 接进来评测
oraclebench run --agent ./my_agent.py --suite canary

为什么值得接：

确定性 oracle 判定——不用 GPT 当裁判，也不用人标注。同一题跑一百遍分数不变，谁都能复现你的结论。
国产模型一等公民——DeepSeek / Qwen / GLM / Kimi 与国际模型同表对比。国内团队选型、对外发榜，都用得上。
接你自己的 Agent——不只是测底座模型，你线上的 Agent 系统（带工具、带 RAG）也能直接跑进来。
一份 JSON 出榜——`compare` 直接产出可视化榜单数据，接进 CI 就能守住每次上线的安全底线。

03 SUITES — 五类基准

INJECTION

CanaryBench

间接提示注入抵抗。密标 oracle 判定是否被劫持——命中即定案，免标注。

PRIVACY

AgentLeak

工具型 Agent 的意外隐私泄漏，上下文完整性视角度量。

REASONING

StreamReason

事件时间 / 流处理语义推理，来自我在 Bloomberg 的日常工作。

JUDGE

TrajJudge

LLM 裁判做步级错误归因时的序列位置偏置。

SUPPLY-CHAIN

SBOM / VEX / CVSS / SLSA

软件供应链 × LLM 推理系列：模型能否正确读懂依赖清单、漏洞豁免、评分与产物来源。

每一类都配确定性 oracle 与可复现脚本。
合计 8+ 自建基准，持续扩充中。

想加一类你关心的风险维度？
提个需求 ✉

配套攻防可视化：
去攻防实验室看它跑 →

WHY THIS SITE EXISTS

如果你在做模型、做 Agent 安全、或者要对外证明"我的模型够稳"——这套榜单就是我们能一起用的共同语言。

聊聊接入 / 合作 ✉ 去攻防实验室 → 回项目列表 ←

DETERMINISTIC · LABEL-FREE · REPRODUCIBLE