本文来自微信公众号： 观潮体系 ，作者：观潮
——一个尚未发生的未来，有多大资格提前改变你的现在？
“所有AI都听话之后”系列第三篇
一
气象台说明天有雨。
明天的云不会读到这条预报。它不改期，不赌气，不会因为被看穿了而换一种下法。预测最古老的形态就是这样：人在这一边观察、计算，世界在那一边照常运行。天气不在乎你说它什么。
我们很容易把预测理解成一件单向的事：世界给出迹象，我们从中推测未来。猜对了，是模型更接近现实；猜错了，就回去修改模型。
后来，同样的能力越来越多地用在了人身上。
预测谁可能辍学，谁可能违约，谁更适合一份工作，谁可能再次入院，谁的申请更值得怀疑。
事情从这里开始不同。
自然预测并不等于没有反馈。疫情预测会改变疫情——封城、戴口罩、减少接触，病毒的轨迹就被改写。台风预测会改变台风造成的死亡人数——人群提前安置、撤离，预报中的灾难就不会完整降临。
改变现实的，不是病毒和台风读到了预报，而是读到预报的人採取了行动。
病毒不理会预测。
云层不会因为被判断为高风险，就把这个判断变成对自己的认识。
人不一样，人活在一个到处被读取的世界里。学校读成绩，银行读信用，雇主读履历，医院读病历，保险公司读风险，福利机构读申领记录。我们的一生，本来就伴随着无数次被观察、被判断、被分类。
变化在于，越来越多这样的读取，开始有一双机器的眼睛参与完成。
机器怎样读你，当然重要。它的判断被谁看见、被谁接过去、被谁照着办，是另一类事——或许更重要。
这篇文章关心后者。
二
2020年的夏天，英国几十万名年轻人同时撞上了一个问题。
那年春天，疫情让A-level考试无法正常举行。没有考场，没有试卷，但大学仍然要招生，学生仍然需要成绩。总得有个分数。
考试监管体系采用了一套标准化算法模型：教师先给出预估成绩和学生排序，模型再结合学校过去的成绩表现进行调整。放榜以后，约39%的A-level科目成绩低于学校提交的教师评估成绩。
没有人作弊，也没有人缺席。模型判断一个学生时，读的不只是这个学生，还读了这所学校历年的表现。
可大学接下来读取的，正是落在这个年轻人名字旁边的那个成绩。原本已经拿到有条件录取的人，可能突然发现条件不再满足；原本以为能够抵达的心仪的大学，因为这个新出现的数字开始远去。
学生走上街头抗议。几天后，政策逆转，学生的最终成绩按教师评估成绩或模型计算成绩中的较高者确定。
这个事件值得记住，不只是因为它引起了巨大争议。它罕见地把一条平时藏在制度内部的链条暴露在阳光下：机器产生一个关于人的判断，另一个机构读取它，然后，一道现实中干系重大的门被打开或关闭。
算法没想针对谁，也没有权力把任何学生赶出大学。变化发生的那个瞬间，是人们开始按照这个结果办事。
类似的事情，每天都在更安静的地方发生。
简历在抵达招聘者以前，已经被系统排过序——排在后面的人失去的还不是offer，是被看见的机会。福利申请者在见到工作人员以前，可能已经被风险系统标记；一些这样的系统后来被法院裁定其法律框架违反了【欧洲人权公约】第八条。因为系统读取了什么、如何形成判断、当事人怎样申诉，都可能不够透明。
预测不再只是告诉我们“可能会发生什么”。它开始参与分配：谁先被看见，谁需要多证明一点，谁要付出更高的成本，谁可能走不到那个能够开口解释自己的地方。
这里隐着一个人性与制度方面的问题。
上世纪七十年代，心理学家Mark Snyder、Elizabeth Tanke和Ellen Berscheid做过一个后来广为人知的实验。他们让一些男性与素未谋面的女性通电话。通话前，男性会看到一张所谓“对方”的照片。有些人看到的是更有吸引力的女性，有些人看到的是吸引力较低的女性。照片是随机分配的，与电话另一端真正的女性无关。
不同的照片，改变了男性接下来的谈话方式。以为对方更漂亮的人，在交谈中表现得更热情、更投入。
如果事情停在这里，还只是偏见改变了观察者。
研究者把女性一侧的录音单独拿出来，让完全不知道实验安排的人评价。那些被对方当作“更有吸引力的人”来交谈的女性，在陌生评委听来，也真的表现得更自信、更活跃、更讨人喜欢。
最初那个判断是假的。但假的判断改变了一个人的对待方式；改变了的对待方式，又改变了另一个人的表现。
读取人，形成判断；别人读取这个判断，改变机会和对待；人再在改变后的环境中行动。预测走了一圈，把过程中发生的改变又带回到了它预测的人身上。
社会制度也在这里发生了一次很深的时间变化。
过去，我们更习惯依据已经发生的事情分配后果：你违约了，你作弊了，你迟到了。
预测把尚未发生的未来带回了现在。
一个人还没有失败，失败的概率已经可能影响他得到的资源；还没有辍学，某种教育安排已经开始变化；还没有做错一件事，就可能先被要求证明自己不是“那种人”。
一个尚未发生的未来，有多大资格，提前改变一个人的现在？
三
社会不应该预测人，这个说法把一件结构性的事情说成了技术恐惧。
预测可以救人。医院提前发现谁更可能再次入院，可以更早随访；学校发现谁正在接近辍学边缘，可以增加辅导；社会服务机构发现一个家庭正在滑向危险，可以把帮助提前送到。
问题在于，预测接下来被拿去做什么。
同一份辍学风险预测，可以成为减少投入的理由，也可以成为增加辅导的触发器。模型没有变，分数没有变，但它接上了不同的制度动作，一个年轻人面前的现实就可能向两个方向展开。
评价一个社会AI系统，“准不准”只能是第一问。从“知道”到“处置”，中间发生了什么？谁有权把一个分数变成门槛？当事人知不知道自己被怎样读取？能不能争辩？读错以后，还有没有回头路？
甚至，“准确”本身在这里也开始变得复杂。
假如一个系统判断某个学生辍学风险很高，学校因此给了他更多帮助。几年以后，这个学生顺利毕业了。预测错了吗？从结果看，它没有实现。但如果没有那个预测，没有随后增加的帮助，他也许真的会离开学校。
这时候，预测的“失败”，恰恰可能是制度的成功。
反过来也一样。一个系统认为某类人风险较高，机构因此收回机会，提高门槛。人只能在更窄的生活道路上挣扎。几年以后，违约率、辍学率或者其他风险指标真的升高了。新的数据重新回到模型。系统于是得到了一份看起来非常漂亮的证明：瞧，我当初说对了吧。
可风险指标变化的曲线里，有多少是最初真实存在的差异，又有多少是制度根据预测采取行动以后亲手制造出来的？
仅凭已经发生的这些数据，模型无法回答。因为它看不见那个没有这次干预后的世界。
你不能一边改变一个人的路，一边拿他后来走到的地方，证明你当初看人很准。
我们总希望预测越来越准确。但当预测开始参与安排人的机会以后，“准确”已经不能独自承担正当性。问题已经不只是：你看见了什么？还有：你看见以后，做了什么？
四
人与天气最大的不同，也许还不只是人会读预测。
人不是一个等待被越来越准确地识别出来的固定对象。一朵云不会因为得到一次机会而成为另一朵云。人会。他会因为得到机会而改变，也会因为机会被提前关闭而改变；会学习，会反抗，会被帮助，也会被压废。
机器能够读取的，无论多么丰富，终究来自已经留下来的东西：过去的成绩、过去的履历、过去的消费、过去的行为、过去与某些人的相似。任何一次读取，读到的都只能是此刻以前的他。
而一个人之所以仍然是一个人，恰恰因为他不必永远等于此刻以前的那个自己。
预测最值得珍惜的用途，不是用过去把一个人钉在某种未来里，而是提前看见他可能跌倒的地方，好让他不必跌倒。
好的预测，有时候应该努力让自己不要成真。
对一个人的预测，不能天然升级为对这个人的裁决。
自然界不读你。它对我们的判断保持沉默。云照样移动，雨照样落下。
人类社会却一直在读你——如今，中间又多了一双机器的眼睛。
问题不只是AI怎样读你。
改变你命运的，是社会读完AI之后，决定怎样对待你。