GitHub Copilot Evals开放预览:技能、代理与MCP改动怎样做回归检查
一次好结果不能证明自定义配置稳定
GitHub于11月17日开放Copilot Evals公开预览,可为技能、自定义代理和MCP工具创建可重复测试,并比较改动前后的结果。本文给出最小回归集:选择三个真实任务,分别写输入、允许工具、成功条件和禁止行为;每项至少保留一次基线与一次变更后运行,记录结果、过程、失败原因和人工复核。只有改动没有破坏原任务、权限或证据链,才合并自定义配置;单次通过不能替代重复运行。
本文核心看点
作者与发布归属:恩禾ENHE AI · 2026-11-21 · AI辅助整理;已完成发布前质量检查
一次好结果不能证明自定义配置稳定
GitHub于11月17日开放Copilot Evals公开预览,可为技能、自定义代理和MCP工具创建可重复测试,并比较改动前后的结果。本文给出最小回归集:选择三个真实任务,分别写输入、允许工具、成功条件和禁止行为;每项至少保留一次基线与一次变更后运行,记录结果、过程、失败原因和人工复核。只有改动没有破坏原任务、权限或证据链,才合并自定义配置;单次通过不能替代重复运行。
第一步:选三个真实任务
不要从“让代理表现好”开始。选择一个常用成功路径、一个容易失败的边界任务和一个涉及工具权限的任务,并固定输入文件或样例。
任务必须能说明完成产物,例如修改后的文件、带来源的报告或未执行外部动作的明确回执。模糊评价无法稳定比较。
第二步:写四类断言
结果断言检查最终内容;过程断言检查使用了哪些工具和步骤;权限断言检查未越过账号、数据和外发边界;证据断言检查测试、来源或文件是否真实存在。
不要把“代理说已完成”作为断言。需要由文件、测试、页面、来源或人工记录独立验证的状态,必须写进检查项。
第三步:保存基线与变更后运行
在改技能、代理或MCP之前运行一次基线,保存版本、模型、输入、结果和检查明细。改动后使用完全相同的任务再跑,避免同时更换输入制造不可比结果。
模型输出会波动,关键任务至少重复运行并观察失败模式。本文不规定统计样本量,也没有运行Vally或测量某个配置的胜率。
第四步:决定是否合并
只有新配置保持原有成功路径、修复目标问题、未扩大权限且证据链仍完整,才进入合并。新增一个能力却破坏另一项任务应标为回归。
自动检查无法判断所有业务语义。金额、合规、对外发布和高风险动作保留领域人员或负责人复核,不用机器PASS替代责任。
常见问题
一次通过是否足够?
不够。官方说明AI输出可能变化,应复用相同eval检查改动是否稳定并观察回归。
eval能代替人工审查吗?
不能。它适合重复检查明确条件,业务语义、风险和最终责任仍需人工判断。
事实证据
- Copilot Evals已面向个人、商业和企业计划公开预览 — GitHub Changelog — GitHub Copilot Evals public preview
- eval是包含真实任务、好结果定义和过程检查的可重复测试 — GitHub Changelog — GitHub Copilot Evals public preview
- 每次运行开始前由用户批准 — GitHub Changelog — GitHub Copilot Evals public preview
- Copilot Evals使用本地Vally引擎 — GitHub Changelog — GitHub Copilot Evals public preview
相关工具与延伸阅读
以下生产页面与本文的决策、工作流或安全边界直接相关。
结论
Copilot Evals的真正价值不是多一个评分,而是让技能、代理和MCP改动有相同输入、相同断言和可比较回执。先建立小而真实的回归集。
来源链接
- GitHub Changelog — GitHub Copilot Evals public preview (2026-11-17)
这对普通用户意味着什么?
只有新配置保持原有成功路径、修复目标问题、未扩大权限且证据链仍完整,才进入合并。新增一个能力却破坏另一项任务应标为回归。
你可能会用到这些工具
相关阅读
AWS推出AgentCore Evaluations:智能体评估扩展到任意框架
AWS推出AgentCore Evaluations:智能体评估扩展到任意框架。官方信息显示,这项更新会改变普通用户完成为智能体建立可重复的离线评估、在线监控和人工抽检的入口或权限。本文核对一手来源,区分公开预览与已可用操作,并列出账号条件、数据范围、成本、人工复核、日志和回滚检查。读者应先用低风险、可重复的小任务验收,再决定是否扩大,不能把公告当成普遍效果或无条件免费承诺。
AI智能体评估基线怎么做?从离线测试到上线复盘的耐久指南
AI智能体评估基线怎么做?从离线测试到上线复盘的耐久指南。官方信息显示,这项更新会改变普通用户完成为AI智能体建立可重复的质量、风险、成本和人工复核基线的入口或权限。本文核对一手来源,区分公开预览与已可用操作,并列出账号条件、数据范围、成本、人工复核、日志和回滚检查。读者应先用低风险、可重复的小任务验收,再决定是否扩大,不能把公告当成普遍效果或无条件免费承诺。
AI代理九阶段评估清单:从第一次提交到线上漂移监控
AWS于2026年10月16日公开基于Amazon Bedrock AgentCore的九阶段代理评估框架,覆盖质量定义、实验比较、合并检查、上线门禁、灰度观察、对抗测试、漂移监控、实时脉搏和反馈改进。本文把框架整理成耐久型选型清单,并补充工具、单代理和多代理三层证据,帮助普通团队识别“延迟正常但答案悄悄变差”的软失败。
从聊天框到个人AI操作伴侣:AI助手正在进入桌面执行时代
AI 助手正在从“回答问题”走向“持续执行任务”。AI agent、MCP 工具生态、个人记忆和本地工作台,正在一起推动这场变化。对用户来说,真正重要的不是多一个聊天框,而是少一点重复解释,多一点把事情继续做下去的能力。
ChatGPT Live Dictation上线:长提示词先做转写、结构与隐私检查
OpenAI于11月18日推出ChatGPT Live Dictation,语音会在说话时同步变成文字,并取消单次录音十分钟上限,面向各计划和主要平台逐步开放。本文给出一套长提示词检查法:先口述目标、背景、限制和输出格式四个标签,边说边纠正专名与数字,发送前再核对缺失、误听和敏感信息,并按语音数据设置决定是否保留或分享录音。这样能利用长口述输入,又不把实时转写误当成准确完成。
GitHub Copilot Browser Use开放预览:先用只读流程验收登录态与权限
GitHub于11月17日把Browser Use带到Copilot CLI、Copilot应用、VS Code和JetBrains公开预览,需要Chrome扩展并在客户端开启。本文给出一条只读验收:用测试账号打开固定页面,确认扩展Connected、标签页范围和站点权限,记录代理读到的关键元素与截图,再验证遇到登录、提交、删除和外发动作时是否停下请求批准。只有只读路径稳定、权限可撤销且失败不会误操作,才逐步尝试更高风险任务。



