让判断基于既定事实
LLM 本质是一个生成式的续写机器,AI Coding过程中如果没有自己的判断,不断“yes”,可能会导致在错误的方向上越走越偏。在我看来,智能就是用机器逼近人类,让机器用人类的行为方式行动。因此,当你对自己的判断没有把握时,在行动前,先问一下 AI:“xx功能,现有的成熟做法是什么?”。总而言之,最好让 AI的判断总基于一个既定事实。常见的例子有:理论文章、说明文档、其他同类产品……
设定可检验的外部标准
可能源于模型训练过程中的人类偏好对齐(RLHF),模型总是附和你的想法,顺从你的意见,这对工作是不利的。
你说1+1=3,模型会反驳你;
你说,我觉得应该用超级计算机来计算1+1的值,并反复一千次以确保答案无误,模型会说有道理
二者的区别在于,一加一等于几有一个明确的“标准”,所以要避免“用超级计算机计算一千次1+1”的情况,可以在和 AI讨论前,先设定一个可检验的外部标准,也就是 “我的目的是什么,要达到什么样的效果,效果如何评价”
实现前持续细化需求
我一直坚信,没有不够聪明的模型,只有不够详尽的提示词。AI的实现和我们预想中的偏差往往源于实现过程中遇到了提示词没有覆盖的角落,我对此解决方案是,在实现之前先让AI基于现有需求不断细化,追问,直到你认为“足够细了”或者“换一个追问方向”。
用授权短语区分讨论与执行
无论是做 Agent 还是与 Coding Agent 交互,先声明再实践,都可以更早的发现问题,从而更低成本的解决问题。不过有时候 AI分不清你是在和它讨论还是在命令它执行,导致有时候会出现AI“直接开干”的情况。对此的解决方式很简单,设计一个授权短语,在没有短语时,不许写/改代码。