一个尚未得到答案的问题
把许多人聚在一起,不等于得到了比其中每个人都好的判断。我们关心的问题更具体:在成员和资源可比的条件下,一套组织意见的规则,能否改善决策?国际象棋为这个问题提供了一个拟议的试验场,但这不是已经完成的实验,更不是群体必胜的宣言。
比较规则,而不只比较人数
目前的方案比较三种安排:简单相对多数、信誉加权,以及包含结构化讨论与异议处理的完整协议。还要把群体表现与事前识别的最强成员作比较。后一项是待检验的命题,不能在结果出来后挑选一个较弱的人充当基准。参与者、用时、外部工具和评价方式,也需要事先说明。
给失败一个清楚的位置
如果完整协议没有改善结果,或者改善小到不足以抵消时间成本,就需要缩减、修改或放弃部分机制。如果效果主要来自一个很强的人,也不能直接把功劳归给制度。移除某个组件、改变关键人物参与条件等检验,可以帮助区分这些解释;具体做法须先解决公平性和可比性,不能把“消融”一词当作质量保证。
结果的边界
即使在棋局上有效,也不能直接推出同一套安排适合公司、医疗或政治决策:那些领域的目标、证据和后果并不相同。这个项目首先要证明一个有限的增益,再追问它来自哪里、在哪些条件下消失。让实验有机会失败,意味着失败后真的改变设计,而不只是给失败重新取一个好听的名字。