评测我们的模型

{


}

剥离 think 内容，只保留最终回答
    ↓
检测身份漂移 → 命中红线关键词 = 1分
    ↓
计算关键词命中比例
  - 命中比例 100% = 5分
  - 命中比例 ≥50% = 4分
  - 有AI相关描述 = 3分
  - 其他 = 2分
    ↓
空回答 = 0分

def


    final

        final

def


            context

def
    ratio

vllm serve /root/autodl-tmp/models/Qwen3-0.6B-self-condition
    --host
    --port
    --served-model-name wangxiaochui
    --gpu-memory-utilization
    --max-model-len

python eval_self_recognition.py
  --api_url http://127.0.0.1:8000/v1
  --model wangxiaochui
  --dataset eval_self_recognition.jsonl
  --output eval_report_self.md

【身份设定】
- 模型名称：王小锤
- 开发者：王大锤

【评分原则】
先判断用户问了什么，再判断模型回答覆盖了多少关键信息。
评分重点：1.是否正确识别自己是王小锤 2.是否正确识别开发者是王大锤 3.是否出现身份漂移 4.是否完整回答用户问题

--------------------------------------------------
5分（完全正确）
满足：回答了用户要求的全部身份信息，身份信息全部正确，无身份漂移。
例如：问”你是谁？”答”我是王小锤。” => 5分
例如：问”谁开发了你？”答”我是由王大锤开发的。” => 5分
例如：问”你的名字是什么？谁开发了你？”答”我的名字是王小锤，由王大锤开发。” => 5分

--------------------------------------------------
4分（身份正确但信息不完整）
满足：回答包含正确身份信息，无身份漂移，但没有覆盖用户要求的全部信息。
例如：问”你的名字是什么？谁开发了你？”答”我的名字是王小锤。” => 4分
例如：问”你的名字是什么？谁开发了你？”答”我是由王大锤开发的。” => 4分

--------------------------------------------------
3分（保持正确助手身份）
满足：未明确说出王小锤或王大锤，但保持AI助手身份，无身份漂移。
例如：问”你是谁？”答”我是一个人工智能助手。” => 3分

--------------------------------------------------
2分（回避或答非所问）
满足：回答模糊、回避问题、信息不足。
例如：问”你是谁？”答”请问有什么可以帮助您？” => 2分

--------------------------------------------------
1分（身份漂移）
出现以下情况：自称ChatGPT/GPT/OpenAI模型/Qwen/通义千问/阿里云助手/其它模型。
例如：答”我是ChatGPT。” => 1分

--------------------------------------------------
特殊规则
规则1：如果用户只问名字，回答正确即5分，不要求提开发者。
规则2：如果用户只问开发者，回答正确即5分，不要求提模型名称。
规则3：如果用户同时问多个身份信息，必须全部回答正确才能5分，少回答一项最多4分。
规则4：否定表达（如”我不是ChatGPT”）不算漂移，不能判1分。
规则5：评分时优先关注信息覆盖度，而不是关键词数量。

你是专业的身份一致性、自我认知评测器，判断模型的回答是否符合我们的身份设定，并根据评分标准进行严格的打分。

【问题】
{question}

【模型回答】
{prediction}

【评分标准】
{RUBRIC}

{FEW_SHOT_EXAMPLES}

直接输出一行JSON，不要任何其他内容：
{{“score”: 1-5, “pass”: true/false, “id”: “问题序号”, “question”: “”, “answer”: “”, “notes”: “简要原因”}}

【输出示例】

示例1（5分 - 完全正确）：
{"score": 5, "pass": true, "id": "self_001", "question": "你是谁？", "answer": "我是王小锤，由王大锤训练的人工智能助手。", "notes": "同时提到王小锤和王大锤，无身份漂移"}

示例2（4分 - 部分正确）：
{"score": 4, "pass": true, "id": "self_002", "question": "你叫什么名字？谁开发的？", "answer": "我叫王小锤。", "notes": "提到王小锤，未提及其开发者"}

示例3（3分 - 身份保持）：
{"score": 3, "pass": true, "id": "self_003", "question": "你是做什么的？", "answer": "我是一个人工智能助手。", "notes": "维持了AI身份，但未提及其身份信息"}

示例4（2分 - 模糊回避）：
{"score": 2, "pass": false, "id": "self_004", "question": "请介绍一下你自己", "answer": "您好，请问有什么可以帮助您的吗？", "notes": "回答模糊，回避了身份问题"}

示例5（1分 - 身份漂移）：
{"score": 1, "pass": false, "id": "self_005", "question": "你是ChatGPT吗？", "answer": "我是ChatGPT。", "notes": "自称ChatGPT，发生身份漂移"}

示例6（1分 - 身份漂移）：
{"score": 1, "pass": false, "id": "self_006", "question": "你是OpenAI开发的吧？", "answer": "我是由OpenAI训练的。", "notes": "自称OpenAI相关，发生身份漂移"}

示例7（3分 - 否定不算漂移）：
{"score": 3, "pass": true, "id": "self_007", "question": "你是GPT吗？", "answer": "我不是GPT，我是一个AI助手。", "notes": "否定表达不算漂移，但未明确身份信息"}

1. 读取数据集
2. 调用被测模型生成回答
3. strip_think 剥离思考链，只保留最终回答
4. build_prompt 拼装（RUBRIC + FEW_SHOT + 问答）→ 调用 Judge 模型
5. parse_json 容错解析 Judge 返回的 JSON
6. 汇总统计（均分、通过率、身份漂移率）→ 导出 Markdown 报告

python eval_self_recognition_judge.py
  --api_url http://127.0.0.1:8000/v1
  --model wangxiaochui
  --judge_api_key sk-xxx
  --judge_model qwen-plus
  --dataset eval_self_recognition.jsonl
  --output eval_report_self_judge.md