二、代码里的偏见
林夏在纽约公共图书馆的档案室里找到了那份泛黄的报告。1940年,美国铁路公司的安全手册里明确规定:当列车必须脱轨时,应优先选择驶向黑人社区而非白人社区。
“技术从诞生起就带着偏见。”陈默不知何时站在她身后,手里拿着一本《自动化的傲慢》,“1987年,波音737的自动驾驶系统总在特定风速下失控,后来发现是因为工程师用的测试数据全来自北半球航线。”
小主,
林夏翻到报告末尾的事故统计,1943年芝加哥的列车脱轨事故果然选择了黑人聚集的南区,死亡名单里90%是非裔。她突然想起上周看到的新闻:亚马逊的招聘AI因为歧视女性被停用,原因是训练数据里男性简历占了78%。
“我们的算法正在重蹈覆辙。”张弛把平板电脑拍在桌上,屏幕上是联盟最新的测试结果:当虚拟行人是穿着西装的白人男性时,系统的避让成功率比穿卫衣的黑人青年高32%。
会议室的气氛瞬间凝固。数据分析师推了推眼镜:“这不是故意的,只是训练数据里‘西装革履’与‘高社会价值’的关联度更高。”
“那这组数据呢?”林夏调出另一份报告,“当行人是60岁以上老人时,系统的避让优先级比儿童低27%,比孕妇低41%。”
陈默突然站起来,把座钟调到12点。钟摆静止的瞬间,他说:“在广岛核爆纪念馆,有面墙刻着所有遇难者的名字,没有年龄、性别、职业之分。”
他们争论到深夜时,联合国大厦的灯光已经熄灭了大半。林夏望着窗外的曼哈顿夜景,突然想起儿子的科学课作业:给机器人编程,让它在火灾中决定先救谁。十岁的孩子写的答案很简单:谁离得近救谁。
“也许我们把问题复杂化了。”她突然开口,“生命不是可以量化的变量,公平比最优解更重要。”
陈默转动座钟,钟摆再次开始摆动:“1842年,海难幸存者为了活命,杀死并吃掉了船上的侍者。这个案子后来确立了普通法的一个原则:即使在极端困境下,也不能剥夺无辜者的生命。”
林夏在白板上写下第一行字:禁止基于年龄、性别、种族、职业的优先级设定。张弛补充道:“还要加上社会地位,不能因为对方是名人就特殊对待。”
数据分析师突然笑了:“那如果是一头鹿和一个人呢?系统总得选吧。”
“生命优先于财产,人类优先于动物。”林夏的笔在白板上划出清晰的线条,“这是底线。”
座钟的滴答声与键盘敲击声渐渐合拍,窗外的晨曦爬上联合国大厦的玻璃幕墙,在地板上投下流动的光斑。
三、透明的算法
第一次公众听证会在日内瓦的国际会议中心举行。林夏站在发言席上,看着台下密密麻麻的人群,突然想起母亲总说的那句话:看得见的天平才让人信服。
“我们的决策框架有三个核心原则。”她按下遥控器,大屏幕上出现醒目的文字:
1. 生命优先于财产,多数人优先于少数人;
2. 禁止基于年龄、性别、种族等的歧视性设定;