同一句提示,换个说法意思没变,模型的决定却变了。做社会模拟的人最怕这个,本来要测一群人怎么合作,测出来的却是措辞的脾气。
这篇没有急着往上下文里堆信息,先问了一个更基本的问题,什么叫「稳」。答案要看 2 件事,意思不变的改写要不动,决策相关的社会世界变了要有方向地动。只盯前半截,一个对什么都麻木、永远不改主意的智能体就是满分;只盯后半截,风一吹就倒的也算过关。这 2 条得同时验,这个口径叫选择性鲁棒性。
于是上下文被拆成 4 种加法,中性填充和通用社会背景各算一类,描述性决策根基与规范性决策根基另算,一类一类替换进提示里,看哪一类真能换来又稳又灵的行为。类囚徒困境的博弈里跑下来,4 种加法给出的行为模式彼此不同,2 个测试模型之间也对不上。「多给点背景就好了」这句话在这里没成立,起作用的是给的哪一类背景。
有点像教小孩过马路,光让他把交通规则背熟不算学会,得看他遇到绿灯会不会走、遇到红灯会不会停。两头都测了,才敢说他懂了。
论文只做了 2 个模型和 1 个博弈,这个边界得留着。下一根钉子是把博弈换成别的,那 4 种加法的排序还站得住吗?