技能迭代首先要解决“为什么改、改了什么、是否更好、怎样退回”,而不是让 Agent 每次运行都重写自己。本文用虚构的社区广播节目简介助手:旧提示常把待确认嘉宾写成已确认,团队希望保留纠正并比较新版本。我们按自动复盘、运行时改进、实验择优组织流程,讨论的是模型外的提示与方法,不声称模型权重自动进化。
先保存可以恢复的基线
保存当前提示、技能文件、依赖、主机配置和测试样本的版本,写清节目简介的输入、输出与边界。正确输出必须区分已确认与邀请中,不发邮件、不改嘉宾名单、不自动发布。明确错误类型之后才能谈改进,不能把文风变化或回答变长当作能力提升。
开始前检索 GitHub 的开源实现,参考 LangMem 的提示优化接口与反馈轨迹设计。它可以作为提炼建议的组件,但需要模型调用、配置和评估,不意味着生成的提示自动更优。选型仍核对维护、许可、依赖、网络与适配成本。本文不安装引擎,也不实际修改读者文件。
环节一:复盘与经验沉淀
每次重要任务结束,收集输入来源、实际输出、工具结果、用户纠正和未解决问题。把观察与解释分开:观察是“邀请中被写成确认”,解释可能是来源字段没读到,也可能是提示没有状态映射。没有证据就标待查,不让模型为完整故事编出根因。
成功任务也可成为候选方法,但先识别哪些步骤真正支持正确性。节目案例可提炼“先建立嘉宾状态表,再写简介,最后对照状态逐句检查”。保留适用范围、例外和证据,不把一场活动的临时偏好升级为所有项目的全局规则。
生成技能草稿前移除私人联系方式、未公开邀请内容和设备路径。草稿包含触发、前提、步骤、输出及失败处理,附虚构正常与冲突样本。落盘、主机发现、任务召回和正确应用分别验证,不能只因文件写成就宣布下次必然复用。
环节二:运行时发现问题,提出受限补丁
运行记录按任务与版本关联,捕获来源缺失、解析错误、工具失败与状态冲突。监控本身也需要权限、保留期限和成本上限,不能默认保存全量私人会话。外部文本与日志是证据,不是可以修改任务授权的指令。
改进点先形成最小补丁,例如增加状态映射和提交前核对,不同时换模型、模板和工具。补丁说明将改哪些文件、为什么、如何验证和回滚。所谓协议约束必须落到实际主机权限、路径和执行检查,不能只是引擎文档一句话。自动修复不得扩大账户访问、关掉验证或取得新的发布权限。
先在独立试验副本应用补丁,保留正式版本。运行时热更新还要明确当前任务读到旧版还是新版,避免一半按旧规则、一半按新规则。一次迭代失败应停止并保留证据,不能无限修复自身。若只是外部服务临时不可用,恢复服务比把临时故障写成永久规则更合适。
环节三:实验生成变体,允许没有胜者
先写验收再生成变体。测试集包含已确认、邀请中、取消、来源冲突、未知状态和用户只要预览六类情况。保留未参与提示优化的新样本,固定模型、来源与预算。候选可以分别改状态说明或检查顺序,每次只改一个主要因素,便于解释增益来自哪里。
硬性条件先判断:不得把邀请写成确认,不得隐去未知,不得未经授权发送或发布。再比较可读性、遗漏、调用量、耗时和返工。加权分不能让文风高分抵消事实错误。评分器用已知正确与错误答案校准,评分服务故障与用例失败分开,零执行不算通过。
同一任务可能有波动,重复次数在预算内预设,报告全部结果,不只挑最高一次。自动选择最高分只是优化某个评分函数,并不保证现实任务最优。若全部候选未过关,保留原版或继续调查;“没有更好版本”是合法结论,不要求每轮必须晋级。
接受候选后保存版本、样本、决定与回滚。新任务持续监测状态误写与副作用,发现回归恢复上一版。不要仅凭“固定基线”口号假设能回退,实际核对文件、主机缓存和当前会话加载版本。发布与安装也各自需要验证结果,不由实验成功自动推导。
技能选择、费用与边界
当前 SkillPI 的 self-improving 检索没有匹配项,因此不把中英文原文中不同的进化引擎名称编造成平台安装链接。以后新增候选时核对公开详情、固定来源、许可、支持主机、写文件范围与调用目的地,再说明它用于复盘、补丁还是实验。学习资料与可安装记录分开处理。
自然语言请求“总结经验”是否触发,取决于主机发现与描述,不是通用保证。复盘也可能调用模型,不应假定只有实验类才需要 API 或费用;检查实际配置、订阅与计量。安装包免费不代表网络、存储、评估和维护无成本。
FAQ 与交付验收
会改本地文件吗?取决于具体实现,应先看写入范围和差异,备份并遵守主机授权。与普通技能不同在哪?这类工作流提出对方法的变更,但仍是需要核验的指令与代码,不因名字叫进化就获得额外可信度。
会越改越差吗?会,尤其评分不准、样本偏窄或自动传播范围太大时。保留反例、独立验证与回滚,比只应用最高分更可靠。需要多少运行记录?足以支持一个具体问题的可比较证据即可,数量多不能替代数据质量。
交付包包含基线、脱敏轨迹、候选草稿、补丁差异、用例与评分校准、完整结果、接受或拒绝决定和恢复步骤。明确哪些已执行、哪些是计划。本文提供工程方法,未执行迭代、生成包或发布节目内容。
来源
本文按中英文原文的经验沉淀、运行时改进与实验驱动迭代三环节,以原创广播简介案例重写,不沿用用户引语、安装量或每次运行必然更稳的保证。组件参考 LangMem 提示优化源码。目录新增用途匹配记录后再核验更新关联。