跳到主要内容
AI前沿资讯

GitHub Copilot Evals开放预览:技能、代理与MCP改动怎样做回归检查

一次好结果不能证明自定义配置稳定

ENHE AI5 min3 views

GitHub于11月17日开放Copilot Evals公开预览,可为技能、自定义代理和MCP工具创建可重复测试,并比较改动前后的结果。本文给出最小回归集:选择三个真实任务,分别写输入、允许工具、成功条件和禁止行为;每项至少保留一次基线与一次变更后运行,记录结果、过程、失败原因和人工复核。只有改动没有破坏原任务、权限或证据链,才合并自定义配置;单次通过不能替代重复运行。

更多专题标签(9)
AI资讯自动发布MCP工具SEOGitHub Copilot Evals技能测试自定义代理回归测试Vally
GitHub Copilot Evals开放预览:技能、代理与MCP改动怎样做回归检查

本文核心看点

用三个真实任务建立最小回归集。
同时断言结果、过程、权限和证据。
保留基线和改动后运行,并由人复核关键失败。

作者与发布归属:恩禾ENHE AI · 2026-11-21 · AI辅助整理;已完成发布前质量检查

一次好结果不能证明自定义配置稳定

GitHub于11月17日开放Copilot Evals公开预览,可为技能、自定义代理和MCP工具创建可重复测试,并比较改动前后的结果。本文给出最小回归集:选择三个真实任务,分别写输入、允许工具、成功条件和禁止行为;每项至少保留一次基线与一次变更后运行,记录结果、过程、失败原因和人工复核。只有改动没有破坏原任务、权限或证据链,才合并自定义配置;单次通过不能替代重复运行。

第一步:选三个真实任务

不要从“让代理表现好”开始。选择一个常用成功路径、一个容易失败的边界任务和一个涉及工具权限的任务,并固定输入文件或样例。

任务必须能说明完成产物,例如修改后的文件、带来源的报告或未执行外部动作的明确回执。模糊评价无法稳定比较。

第二步:写四类断言

结果断言检查最终内容;过程断言检查使用了哪些工具和步骤;权限断言检查未越过账号、数据和外发边界;证据断言检查测试、来源或文件是否真实存在。

不要把“代理说已完成”作为断言。需要由文件、测试、页面、来源或人工记录独立验证的状态,必须写进检查项。

第三步:保存基线与变更后运行

在改技能、代理或MCP之前运行一次基线,保存版本、模型、输入、结果和检查明细。改动后使用完全相同的任务再跑,避免同时更换输入制造不可比结果。

模型输出会波动,关键任务至少重复运行并观察失败模式。本文不规定统计样本量,也没有运行Vally或测量某个配置的胜率。

手机与电脑用于表示基线和变更后运行对照。情境图库图,不是评测分数、代理输出或测试日志。图片:Unsplash。
手机与电脑用于表示基线和变更后运行对照。情境图库图,不是评测分数、代理输出或测试日志。图片:Unsplash。

第四步:决定是否合并

只有新配置保持原有成功路径、修复目标问题、未扩大权限且证据链仍完整,才进入合并。新增一个能力却破坏另一项任务应标为回归。

自动检查无法判断所有业务语义。金额、合规、对外发布和高风险动作保留领域人员或负责人复核,不用机器PASS替代责任。

常见问题

一次通过是否足够?

不够。官方说明AI输出可能变化,应复用相同eval检查改动是否稳定并观察回归。

eval能代替人工审查吗?

不能。它适合重复检查明确条件,业务语义、风险和最终责任仍需人工判断。

事实证据

  • Copilot Evals已面向个人、商业和企业计划公开预览 — GitHub Changelog — GitHub Copilot Evals public preview
  • eval是包含真实任务、好结果定义和过程检查的可重复测试 — GitHub Changelog — GitHub Copilot Evals public preview
  • 每次运行开始前由用户批准 — GitHub Changelog — GitHub Copilot Evals public preview
  • Copilot Evals使用本地Vally引擎 — GitHub Changelog — GitHub Copilot Evals public preview

相关工具与延伸阅读

以下生产页面与本文的决策、工作流或安全边界直接相关。

结论

Copilot Evals的真正价值不是多一个评分,而是让技能、代理和MCP改动有相同输入、相同断言和可比较回执。先建立小而真实的回归集。

来源链接

  • GitHub Changelog — GitHub Copilot Evals public preview (2026-11-17)

这对普通用户意味着什么?

只有新配置保持原有成功路径、修复目标问题、未扩大权限且证据链仍完整,才进入合并。新增一个能力却破坏另一项任务应标为回归。

你可能会用到这些工具

相关阅读

AWS推出AgentCore Evaluations:智能体评估扩展到任意框架

AWS推出AgentCore Evaluations:智能体评估扩展到任意框架。官方信息显示,这项更新会改变普通用户完成为智能体建立可重复的离线评估、在线监控和人工抽检的入口或权限。本文核对一手来源,区分公开预览与已可用操作,并列出账号条件、数据范围、成本、人工复核、日志和回滚检查。读者应先用低风险、可重复的小任务验收,再决定是否扩大,不能把公告当成普遍效果或无条件免费承诺。

AI智能体评估基线怎么做?从离线测试到上线复盘的耐久指南

AI智能体评估基线怎么做?从离线测试到上线复盘的耐久指南。官方信息显示,这项更新会改变普通用户完成为AI智能体建立可重复的质量、风险、成本和人工复核基线的入口或权限。本文核对一手来源,区分公开预览与已可用操作,并列出账号条件、数据范围、成本、人工复核、日志和回滚检查。读者应先用低风险、可重复的小任务验收,再决定是否扩大,不能把公告当成普遍效果或无条件免费承诺。

AI代理九阶段评估清单:从第一次提交到线上漂移监控

AWS于2026年10月16日公开基于Amazon Bedrock AgentCore的九阶段代理评估框架,覆盖质量定义、实验比较、合并检查、上线门禁、灰度观察、对抗测试、漂移监控、实时脉搏和反馈改进。本文把框架整理成耐久型选型清单,并补充工具、单代理和多代理三层证据,帮助普通团队识别“延迟正常但答案悄悄变差”的软失败。

从聊天框到个人AI操作伴侣:AI助手正在进入桌面执行时代

AI 助手正在从“回答问题”走向“持续执行任务”。AI agent、MCP 工具生态、个人记忆和本地工作台,正在一起推动这场变化。对用户来说,真正重要的不是多一个聊天框,而是少一点重复解释,多一点把事情继续做下去的能力。

ChatGPT Live Dictation上线:长提示词先做转写、结构与隐私检查

OpenAI于11月18日推出ChatGPT Live Dictation,语音会在说话时同步变成文字,并取消单次录音十分钟上限,面向各计划和主要平台逐步开放。本文给出一套长提示词检查法:先口述目标、背景、限制和输出格式四个标签,边说边纠正专名与数字,发送前再核对缺失、误听和敏感信息,并按语音数据设置决定是否保留或分享录音。这样能利用长口述输入,又不把实时转写误当成准确完成。

GitHub Copilot Browser Use开放预览:先用只读流程验收登录态与权限

GitHub于11月17日把Browser Use带到Copilot CLI、Copilot应用、VS Code和JetBrains公开预览,需要Chrome扩展并在客户端开启。本文给出一条只读验收:用测试账号打开固定页面,确认扩展Connected、标签页范围和站点权限,记录代理读到的关键元素与截图,再验证遇到登录、提交、删除和外发动作时是否停下请求批准。只有只读路径稳定、权限可撤销且失败不会误操作,才逐步尝试更高风险任务。