Kaggriculture比赛复盘:很多局部的进步,以及看起来新颖的想法,为什么没有组成一个强策略
这次参加的是 Kaggle 的 Kaggriculture,一个让两个智能体经营农场、通过共享市场竞争的比赛————延续这个比赛的目的是沿着一条很自然的路径,agent开发,不过没我想的简单。我一开始的目标定得很直接:第一。后来随着比赛推进,目标逐渐变成前十、金牌,再到尽可能从现有版本中选出更可靠的最终方案。最后留下了 56 次正式提交,最终提交的是 V45 和 V55,但这条研发路径没有达到我原本期望的竞争力最终只拿下一个银牌,在kaggle这类全球类型的竞赛中,确实比国内要难,原本我还想在春招之前拿下master,不过目前才一个银牌。进度完全不及预期,可能是达成不了了。

比赛中,我仿佛又回到了打taac时期,我有很多想法,我想解释一切,我有很多的问题,我想知道社区为什么大体分为几个大版本,所有人都在这个大版本里做小修改,越到前排策略就越趋同,我把这个叫做生态链,就像存在着这样一个循环,熊吃鱼,大鱼吃小鱼等,反映到社区上又可以当作北极熊能打败棕熊,棕熊能打败鲨鱼,鲨鱼也能打败比目鱼....这么说可能有些抽象,但是整个比赛确实是趋同的几个相互克制的大方案上改的,几乎前十的策略都有好几位存在共同的先祖。我甚至引申到了,实际上在比赛中,不再只是代理的博弈,甚至到了人的博弈。对决是公开的可以回放的,而每个人都能看到所有人的对局,都能推断出这个策略的先祖。在这样的情况下人的博弈也成为了优势。
在这样的思考中,我们能够解释资金为什么断档,知道员工为什么空转,也能找出一场比赛少卖了多少货。代码越来越多,实验越来越严格,仓库也越来越大,但能够稳定战胜强手的策略并没有随之出现,一方面还是我的毛病,我的想法再次离开了策略本身,这是一个很好的赛题,好到不由自主的我再度深入的思考各种各样的东西,再一次的,这些东西离开了我的代码。
现在前十的方案陆续公开,我重新读了一遍他们的复盘,也回头检查了自己的实现。有些原先的判断得到了支持,有些则需要明确推翻。尤其是一个问题终于清楚了:我们一直在讨论完整的动态经营,实际交付的策略却长期受限于少数已经存在的经营日程,对完整的思路,我们需要更多的自己负责而不是交给agent,这是我这次比赛中学到的,本次竞赛主要使用的模型是gpt6-astra-max,使用的agent为codex,这个模型极其容易把工程上的改进当作真实的推进。并在错误的道路一路狂奔,这是我大致的经验了。
这个游戏到底在竞争什么
Kaggriculture 看上去是种田:种作物、养动物、雇员工、开土地,最后把东西卖掉。完整对局大约 720 步,智能体每步需要在有限推理时间内安排人员和市场订单。
只看农场内部,问题已经不少。员工要走路,随身容量有限,收获以后还要交仓;动物需要饲料,作物需要维护;买地、买种子、买动物和发工资会占用同一笔钱。今天看起来很赚钱的一笔投资,可能让明天没有钱雇人,或者把运输能力全部挤掉。
再加上共享市场,事情就更复杂。双方生产相同商品会影响售价,我改变生产结构,也可能替对手创造更好的价格。自己多赚一些钱,胜率甚至可能下降。
我们后来确实遇到了这样的例子:一次 V23 改动让自己多赚 3,058 金币,对手却多赚了 4,913,最终由胜转负。这些金额是配对对局里观察到的变化,不能拆成单个动作的因果收益,但至少足以说明,只优化我方终局金币会漏掉重要信息。
官方评级主要取决于胜、负、平。赢一万金币和赢一金币都算一场胜利。我要解决的目标,是在未来会遇到的对手和世界条件下,尽可能多地赢。
这个区别在纸上很好理解,落实到模型里却非常容易忘。单格产量、动物收益、农场总资产、终局金币,每一项都能算得很漂亮,但最后仍然要回到整场胜负。
我希望从规则里找到一个足够完整的模型
我原来的想法比较接近数学建模。从状态、约束和终局目标出发,给资产、工时和现金建立价值,再通过滚动优化决定下一步做什么。
如果人员位置、作物生长、动物状态、随身物品、价格、对手公开信息和剩余时间都能输入模型,那么中央调度器应该能够统一安排:谁去收获,谁去喂养,谁把货送回去,什么时候买入,什么时候继续扩张。
我当时还希望,既然规则可以模拟,我们就应该有机会逐渐逼近全局最优,这是一个熟悉的想法,我想把整个比赛浓缩成若干变量的李雅普洛夫函数,还是熟悉的老毛病,我想要一个解析解,我想通过计算直接得到最优函数。现在看,这个期待把“可以准确模拟状态转移”和“可以在有限时间内找到很强的策略”靠得太近了。规则明确,只解决了环境的一部分;未来随机性、对手反应、长期价值和庞大的联合动作空间仍然存在。这条路线成功浪费了我们许多时间
后来的实现采用过分层规划、有限候选路线和近似延续价值。问题随之转化:候选里有没有真正好的完整方案,价值函数能否给它们排对顺序,执行器能否兑现选中的承诺。
其中任何一层不足,最后都可能得到一个形式上很合理、实际却打不过固定策略的智能体。我们花了很多时间补这些缺口,也因此逐渐失去了赛期最宝贵的东西:在明确预算内完成一条有竞争力的主线。
第一次明显上涨,主要来自更强的公开底座
比赛中间,我们转向了公开方案。一个必须承认的事实是,第一次明显的涨分,主要来自换上了更强的公开生产与执行基座。
9 月 15 日,原样公开 Recovery V43 曾达到 2627.7 分。之后围绕交易时机、数量和执行修复的版本,一度来到 2800 多分。这些都是当时匹配环境下的过程成绩,不能当作最终实力,更不能把全部涨分归功于我们自己的改动。
它们至少给了我一个直观认识:一套连贯的强经营日程,能够胜过很多看起来更聪明、实际没有协调好的动态方案。
公开策略已经处理了大量基础问题。第一块地怎么开,员工怎么分配,动物什么时候投产,饲料怎么采购,货物怎么运回去,很多决定都相互配合。原创方案只要在其中几个环节掉链子,所谓更灵活的决策就很容易变成更灵活地犯错。
但这个阶段也留下了一个后续问题。强底座给了我们稳定起点,我们逐渐习惯把它已经完成的部分当作正确答案,主要在外围寻找小收益。我们审计了很多损失,却很少真正扩大整套策略能够做出的经营选择。
我把榜单想成了一片有很多物种的海洋
比赛中,我观察到大量对手的开局、走位和布局都与我们相似。有些对局,双方几乎整场都在做相同的农场操作,最后却因市场收入不同而分出胜负。
这个观察有真实依据。9 月的一次连续 20 场审计里,双方农场命令相同的回合比例中位数约为 99.44%,其中六场的 719 回合命令完全相同。不过,那批对手来自我们当时约 2600 分的匹配阶段,不能代表整个榜单。
于是我提出了“生物圈”的想法:很多策略可能来自少数公开母算法,再分化出不同分支。如果 A 克制 B,B 克制 C,我们能否尽早识别对方的类型,选择相应的应对?
这个方向需要三个前提:我们确实拥有不同的强策略,能够在还有调整空间时识别对手,并且切换后的资产和人员安排仍然可执行。实际研发中,第一项就远没有完成。没有几条足够强、足够不同的完整路线,分类器再准确,也很难创造出克制关系。
更重要的是,我一度把“行为相似”推成了“私有算法相同”。我长期关注 DSM、Unknown Mother-Goose 和 Victor,觉得他们像是在同一个公开底座上改得更好。赛后看,他们已经使用了从状态生成动作的学习策略。相似的经济选择和开局,并不能说明后面的控制机制相同。
所以,“我们处在一个高度同质的圈层”可以描述一部分观察;“这个母算法只有某个分数上限”“我们主要因为母算法被针对而衰退”,就超出了证据。高手持续更新、我们的对手面板变旧、私有策略能力增强,都更需要认真考虑。
原创方案为什么连一个员工的问题都没有处理好
原创路线里,最让我不满意的一次现象是:对手有好几个人同时干活,我们有时却只剩一个人忙,其他人回小屋。
我当时直接怀疑,这是不是奖励黑客,是不是模型主动学会了放弃经营。后来核对三场实际回放才知道,第一天的雇工按规则离场,第二天没有重新雇人,第三天又恢复多人。画面上只剩一个人,具体原因是第二天的用工断档。
那一版也没有训练出一个 PPO 策略,主要问题出在手写规划和执行的耦合上。
开局投资占用了现金,劳动安排又和整包采购绑定。系统没有充分利用“先收集、交仓变现,再采购、服务”的融资顺序。于是一个拥有土地和动物的农场,在第二天反而凑不出完整用工方案。
还有一个很具体的例子:某条服务路线做完全部任务后仍有 98 元采购余额,却因为低于人为设置的 100 元现金储备,被更少人、更少任务的方案替代。保护缓冲压过了当下实际可执行的工作。
这些问题后来有过修复,前缀实验里漏喂减少了,用工也恢复了。但完整对局的独立确认仍然可能退步。修好了一个机制,只能说明这个机制更正确,距离整套经营有竞争力还有很长一段路。
这也是我后来反复强调中央调度的原因。资金、人员、作物、动物和运输必须共享一份真实账本。一个模块认为可以买,另一个模块认为有空,第三个模块默认货已经能卖,三者拼起来就可能没有任何可执行的方案。
然而我们实际做出的,仍然是有限候选和近似价值构成的规划原型。它的失败,能够说明那份实现不够强,却不能否定我要求验证的状态驱动、统一决策路线。现在前十公开的策略,已经证明这类统一决策可以达到很高的竞争力。
我们做了越来越严格的评估,却没有得到足够强的对手
每天只有五次提交机会,官方只保留最近两份。提交太快会覆盖还没有充分对局的候选,提交太慢又会浪费验证窗口。平台还出现过 Pending 和对局速度异常,进一步压缩了观察时间。
于是本地 evaluate 变得很重要。后期我们使用两套 CPU 资源并行跑比赛,逐渐补齐了独立进程、同世界配对、双座位、开发与确认分离、实际账本和部署身份核验。
这些工作有价值。它们能区分源码是否一致、动作有没有执行、改动是否只在开发世界有效,也减少了把程序错误包装成策略结论的机会。
但本地面板的代表性没有同步解决。我们可以严谨地证明,一个候选在这几个对手和这些世界上更好;如果对手过旧、过于同源,这个结论离当前天梯前十仍然很远。
固定高手回放尤其容易带来误判。回放保存了高手原来那一局的动作,我改了市场和生产以后,它仍按原来的动作走。真正的高手可能会回应这些变化。赛后第八名公开过一个例子:某版本对前四名的固定回放胜率约 60%,线上面对前五却是 0 胜 14 负。
我也曾把原始胜率和天梯分数混在一起比较。一个版本赢得更多,评分却更低,看上去像平台出了问题。后来查询近时对手评分才发现,一次快照里,V45 的合格样本对手均分约 1799,V55 约 2216。对手分布不同,胜率自然不能直接横比。
观察三四个小时可以作为工作安排,但不能保证已经收敛。早期连胜、历史最高分、后来查询到的对手排名,都需要对应的时间和匹配背景。我们后来理解了这些限制,可它们没有自动替我们找到更强的策略。
最后的 V45 和 V55 到底改进了什么
后期确实有一些能够核对的进步。
V22 修复夜间回仓前的仓储溢出,在一批新世界里把实际丢货从 734 单位降到 10。V30 增加完整的分批羊麦路线及资金补救。V45 在中期重新选择尚未承诺的投资,并修复部分种植执行链。V55 在羊毛首店条件下采用另一套完整日程,其他场景主要继承 V45。
最后两批共同评估合并为 192 个世界、各双席,每版 384 场:
| 版本 | 胜 / 平 / 负 | 胜点,平局计半点 |
|---|---|---|
| V30 | 293 / 40 / 51 | 313 |
| V45 | 305 / 42 / 37 | 326 |
| V55 | 307 / 40 / 37 | 327 |
这张表说明我们有局部累计收益,也说明 V45 和 V55 没有明显拉开。它们只是这份面板的结果,不能换算成官方天梯分。
最后确定两个版本时,我还专门提出过差异性问题。既然最终取两份提交中较好的成绩,是否应该保留两条真正不同的路线?检查以后发现,V45 和 V55 在 384 个共同上下文中,有 337 场完整动作和奖励都相同。
它们有有限互补,共同弱点却很多。我们没有在最后一天突然获得两条独立强路线,只能从已有、可运行、有一定证据的方案中作取舍。
赛后静态检查还确认了一件更直接的事:V55 内嵌的五套基础日程最多全部只开三块地,后续变体又保留原来的物理日程。我们在讨论里研究过四地的必要性和风险,最终策略里却没有一套完整的四地经营候选。
如果可选方案里没有四地,那么再精确的选择器也无法回答三地和四地谁更好。这是可以从源码里明确指出的完成度问题。
前十公开以后,我才看清他们究竟在学什么
这次读完最终前十的公开方案,最重要的共同点是:十队都使用了行为克隆,也就是 BC;其中第 4、5、7、9 名明确以纯 BC 或 SFT 作为最终提交,并没有依靠最终 PPO 才进入前十,出于人的博弈的想法,我疯狂偷窥其他人的讨论哈哈,可惜没有带来收益。
他们使用高手回放的方式值得重新理解。一条回放包含了大量“当前状态—采取动作”的样本。把这些样本用于训练,模型就有机会在新的实际状态下生成动作;我们更多是把回放提取成经营日程,再通过有限分支和修补适配当前局面。
这个区别会一直传到后期。员工晚到一步、现金少一点、杂草挡住一格,经营日程需要额外补丁处理;状态策略则有机会通过训练学习如何接着经营。当然,机会不等于保证,糟糕的数据和训练同样会得到无法使用的神经网络。
DSM 的最终方案是 Transformer,每步读取地块、人员、市场等状态,生成员工动作和订单,经过 BC 与 PPO 训练。Unknown Mother-Goose 也是 BC 加 PPO。我们看到的相似开局,背后已经有完全不同的决策能力。
第四名 Farmcore 给了一个非常具体的数据正例。他们发现,回放中的订单请求不一定等于引擎实际成交的数量。用请求训练,模型可能一直在学那些没有真正执行的动作。他们重建实际执行标签,对旧版的 24 场实验从原始标签的 3 胜,到修正标签后的 12 胜,再加入喂养保护后达到 23 胜。
这里不能把 3 到 23 全归功于标签,样本也只是作者的内部实验。但它至少告诉我,训练标签的执行语义值得优先投入。相比之下,我们花了很多时间给有限菜单做更精细的估值,却没有建立一条同等级的整局策略学习流程。
教师数据还需要保持连贯。Unknown Mother-Goose 报告,改用连贯的新版本数据后,动作准确率只提高约 0.5—0.6 个百分点,整局闭环胜率却从 48.4% 到 77.6%。把不同经营日程的局部动作平均起来,很可能得到谁都不像、彼此冲突的策略。
第七名 DECEM 的经历更接近我们的处境。他前七周做启发式,最后九天转 BC,最终第七。公开的最终训练配方,预训练、微调和专项训练约为 51、7、3 分钟,使用一张 RTX 5090。当然,这不包含数据准备和整个研发过程,也不能据此声称我们一小时就能复现第七。
它仍然说明,冠军的大规模自博弈算力并非进入前十的共同前提。我们当时没有把这种规模可控的完整 BC 路线真正做出来,这是必须承认的错失。
以上数字来自作者的公开复盘,我没有在自己的环境里独立重跑。第二名 Victor 的正文强调 BC,但公开复现配方包含短 PPO,因此也不能把它简单归为纯 BC。
我对微调、中央模型和算力的判断需要一起修正
比赛中我曾经很不耐烦,觉得我们总在纠结一颗草莓要不要种,给我一种“看起来很忙但是毫无意义”的感觉。这个判断背后,是我对研发进度的真实不满:市场、扩张、生产组合和完整路线还有很大缺口,我们却反复停留在底座附近。
现在看,小改动本身不能一概否定。DSM 报告,整套后处理在其内部响应式面板上提升约 13.6 个百分点。库存溢出、末日交仓、无效动作和订单顺序,都可能决定强者之间很小的差距。我们的仓储修复也确实减少了丢货。
问题在于投入的顺序和比例。我们需要一条能持续提升的完整经营主线,再用这些修复保住收益。后期却常常用“修复了一个真实错误”代替“扩大了策略能力”,用“完成了更多验证”代替“获得了值得验证的新候选”。
中央规划也需要重新评价。冠军的纯启发式搜索器曾经登顶,第 28 名用学习开局加规划拿到金牌;因此规划有实际竞争力。它要求可兑现的路线、全农场资源约束和合理的未来估值。给原型起一个中央模型的名字,不会自动获得这些能力。
算力限制同样存在,但解释不了全部差距。冠军与 DSM 的自博弈规模远超我们的资源;第四名和第七名又说明,较小规模的监督学习也能形成强策略。我们需要区分哪部分确实受硬件限制,哪部分是路线没有打通、优先级没有排好。
这和我在 TAAC、LLM-Rec 中遇到的问题有相似之处。我们经常能提出很多有道理的机制,也能解释一次失败,却没有把最重要的有效能力组织成一条可以累计的主线。AI 能很快写出模块、报告和实验计划,判断它们是否在推动目标,仍然是一项需要持续做的工作。
最终总结
实际上,这又是一个想法过早脱离实际情况的例子,我总是存在这样的毛病,当我为一个比赛投入太多时间以后我就会从脑子里冒出各种各样的想法和思路,这些想法太多,太杂。但是这是比赛,比赛要求的是在最短的时间里拿到更高的分数,而不是奖励这种太多想法的行为,也许有些idea能帮助上分,而太多想法只能导致整个比赛安排和实验变得混乱,就像是也许每一条路都能走到终点,但是如果我先向东走200米,再往南走200米,往西走200米,往北走200米。最终我就回到了原地。
下一次再面对类似目标,我希望更早问清楚:我们当前的方向究竟能作出哪些完整决策,还缺哪项决定胜负的能力,我想走什么样的路线,而不是东一脚西一脚的。
参考资料
本文的项目数字来自赛中记录;其他队伍的实验数字来自其公开复盘,均有各自的对手和评测范围。