第505集:审计之外的规则

“好,我这就回去。”老周的声音里带着警惕,“刚才我监测到智愈的后台有异常流量,好像在往境外传数据,我已经截了包,正准备分析。”

挂了电话,林砚之打车往办公室赶。车窗外,黄浦江上的货轮缓缓驶过,岸边的梧桐叶开始泛黄。她想起庭审时陈明远说的“AI准确率98.2%”,突然觉得很讽刺——那2%的误差,对患者来说就是100%的灾难。

回到办公室时,老周已经在技术室等着了。小陈把U盘插进隔离电脑,屏幕上立刻跳出一串加密文件。老周戴上眼镜,手指在键盘上飞快敲击,代码像流水一样在屏幕上滚动。“找到了,”他突然停下,指着其中一行代码,“这里有个隐藏的触发指令,输入‘ZY-2024’,系统就会自动屏蔽罕见病特征提取模块。”他又点开一个日志文件,“你看,从2023年10月开始,这个指令被调用过17次,每次都是在医院突击检查或者客户试用的时候。”

小陈凑过来看,倒吸了一口凉气:“他们竟然早就留了后门?那之前的审计沙箱里,是不是也被调用过?”

“很有可能。”林砚之皱起眉,“老周,能不能根据这个后门,追溯一下之前有多少患者可能被误诊?”

老周摇摇头:“很难,智愈的诊断数据是碎片化存储的,而且他们已经删除了一部分2023年的日志。不过我们可以根据现有的病例,估算一个范围——按照他们的调用频率,保守估计有上百个罕见病患者可能被漏诊。”

林砚之沉默了一会儿,拿起手机拨通了市卫健委的电话:“王主任,我是林砚之。智愈科技的AI系统里发现了隐藏后门,可能涉及大量漏诊患者,需要你们协调各医院做一次全面排查……对,越快越好,特别是2023年10月之后用智愈系统诊断的患者。”

挂了电话,她靠在椅背上,闭上眼睛。小陈递过来一杯热茶,轻声说:“林处,你别太自责,这不是你的错。”

“我知道不是我的错,”林砚之睁开眼,眼底有红血丝,“但我总在想,如果我们早点发现,是不是就能少一些像张阿姨那样的患者?”她想起早上张阿姨女儿的电话,姑娘哽咽着说“妈妈最近咳嗽得更厉害了”,心里就像被什么东西揪着疼。

这时,办公室的门被推开,门口站着一个人——是智愈科技的CTO赵伟。他头发乱糟糟的,眼睛红肿,手里提着一个黑色的电脑包,看起来像是一夜没睡。“林处长,”他声音沙哑,“我来交东西——智愈所有AI诊断系统的源代码,还有未删除的原始日志备份。”

林砚之和小陈对视了一眼,都有些意外。赵伟把电脑包放在桌上,拉开拉链:“陈明远跑了,早上的飞机去美国了,留了封信让我‘顶住’,但我顶不住了。”他蹲下来,双手抱着头,“那些代码是我带团队写了三年的,我看着它从一个小模型变成能在几十家医院用的系统,可陈明远为了业绩,一次次让我们改数据、留后门……我知道这不对,但我不敢反对,我怕失业,怕房贷还不上。”

“你现在交出来,是对的。”林砚之走过去,递给他一张纸巾,“这些代码和日志,能帮我们追溯更多可能被误诊的患者,也能帮其他企业避免犯同样的错。”

小主,

赵伟接过纸巾,擦了擦眼泪:“我还知道,陈明远在境外开了个离岸账户,里面转了不少钱,是用智愈的技术专利做抵押贷的。我把账户信息也存在这个U盘里了,交给你们。”他从口袋里掏出一个小小的U盘,放在桌上,“我已经跟律师咨询过了,主动配合调查可以从轻处理。我不想再帮陈明远背黑锅了,我想对得起自己写的代码。”

第三章 座谈会上的交锋

下午两点,行业座谈会在市科技局的大会议室召开。林砚之走进会场时,已经坐了大半的人——有医疗AI企业的负责人,有医院的代表,还有高校的专家,周明远教授也来了,坐在第一排靠中间的位置,朝她点头微笑。

小陈把《AI医疗算法审计指引》的纸质版分发给每个人,封面上印着蓝色的黄浦江大桥图案。林砚之走上讲台,打开PPT,屏幕上出现了判决书里的关键条款:“……智愈科技需于90日内完成罕见病数据补充(样本量不低于总数据量的5%),算法决策可解释性需达到SHAP值≥0.7……”

“今天请大家来,不是要批评谁,而是想和大家一起定规则。”林砚之的目光扫过全场,“《审计指引》里有两个核心点,我想重点说一下。第一个是‘动态审计’——高风险AI系统每季度要提交算法更新报告,报告里必须包含罕见病数据占比、决策可解释性指标,还有用户投诉处理情况。我们技术团队会随机抽查,一旦发现隐瞒更新或者数据造假,直接取消行业准入资格。”

台下立刻有人举手,是一家小型AI企业的老板,姓刘,之前在伦理审查意见征集时提过“成本太高”的异议。“林处长,我们公司就十个人,每季度提交报告、接受抽查,人力成本根本扛不住。能不能给小企业放宽点期限?”