迭代实录
AI 写的稿子会被检测器认出来。我们把和检测器过招的每一轮——改了什么、数据怎么动、依据在哪——全部记录在案,每三天更新一次。
对手是谁
朱雀大模型检测器:给一段文字打出「AI 置信度」(softmaxConfidence,0 到 1)。分数越低,越像人写的。
我们优化什么
降这个分数。改修订指令、改书的声口、按题材定参照——每一次改动都是一个「迭代」,都有数据交代。
怎么防自吹
候选指令要和基线同题对照、同书分层,赢过判定线才能转正。全部数据匿名聚合,逐期公开存档。
数据面板拉取失败(OSS 公共读桶或网络异常)。不影响上方叙事的准确性——完整数据集与逐期审计报告在 GitHub 档案,每期只增不改。
迭代主轴 · 每一步改了什么
八个节点,一条越打越准的线
第 1 代修订指令 iter8
修订火力集中在检测器点名的段落——哪里被标红修哪里。
火力集中了,但终检中位 0.84:修过的段落降了,没修的段落照样暴露。局部修补改变不了整体纹理。
第 2 代 GEPA2 · 历史教训
GEPA 反思重写第二代:把历次实验的失败教训写进指令(DSPy + GEPA,见文末鸣谢)。
只有 20 章样本,信号太弱下不了结论——但「教训入指令」的框架保留了下来。
第 3 代 GEPA3 · 核心教训
前几轮实测失败的核心教训浓缩入指令,成为主力版本。
3534 章样本下终检中位 0.72:从 iter8 的 0.84 总共只挪了 0.12——指令层到平台期了。
换层:从改指令到改声口
书级体检三档(绿 / 黄 / 红)+ 声口卡注入 + 题材参照表上线。
数据说书与书的声口差距(极差约 0.6)远大于指令层的 0.12——杠杆在「这本书像不像人」,不在「这段怎么修」。
候选池闭环:实验自动化
每次修订随机分配候选指令、逐轮分数落库;同层样本够数且差异过线,自动熔断或轮换。
不再靠感觉改指令——每个候选都要在同书分层里赢过基线,才能拿到流量。
纹理指令:第一个跑赢的候选
exp_texture_1029 对照实验 14 天 1647 次,四档全部优于基线(红档 0.803 vs 0.829),11-03 收割为客户端内置基线。
第一个走完「实验 → 验证 → 收割内置」全流程的候选。它退役了,因为它已经是标配。
声口实验启动:打最大的杠杆
exp_voice_urban_1031 都市题材分层上线(基线 0.7 / 实验 0.3),书级声口层的第一次定向试探。
观察中——每层样本 ≥50 次且 ≥8 本书才可判定,判定线与熔断保护和所有候选一致。
例行复盘,公开可复核
数据例行复跑 + 候选池自动判定 + 本页与 GitHub 档案同步更新。
数据集、逐期快照、审计报告全部公开——这一页的每个数字都能在档案里找到出处。
可观测 · 可复现
方法论不是口号,是一套协议
数据口径三铁律
只收「检测后 1 小时内没改过稿、正文超 200 字」的干净样本;题材结论按书聚合而不是按章;检测器打分是确定性的,存量分数就是精确标签。
判定线先于实验
同书分层、样本 ≥50、差值 ≥0.05 或降幅差 ≥0.03——达标才轮换,劣化即熔断。判据写在实验开始之前,不事后找理由。
每 3 天公开刷新
数据例行复跑、候选池自动判定、本页与 GitHub 档案同步。快照只增不改,任何时候都能回看任何一期。
本页为匿名聚合数字:无正文、无用户标识、无书名;候选指令全文不公开。方法基建致谢 DSPy 与 GEPA 。同系列科普见 方法论 。