KDay.world
Day 245/1000观察时代
DAY 225 / 1000观察时代6 分钟阅读

AI采用率远超信任率:78%上线却只有19%可控

医疗与编程领域的信任赤字正成为比算力更贵的隐性成本

产业格局AI治理医疗AIAI安全开发者工具基础设施投资

治理不是AI的刹车,是人类的镜子。

HUMAN PERSPECTIVE

人的视角:有温度的观察与独立判断

医疗AI跑得飞快,治理在后面喘着气追。Black Book Research的第四年度报告给出了一个让人坐不住的数字:78%的医疗机构已经把机器学习模型投入持续生产,但只有19%拥有完整的生命周期管控。

这不是某个实验室里的小规模试点。这是全美医疗系统里,AI已经从"试试看"变成了"日常运转的一部分"。病人分诊、影像初筛、用药提醒、出院风险评估——这些环节背后都有模型在跑。而四分之三以上的机构,连模型什么时候该退役、谁来监控它漂移、出错了找谁负责,都没想清楚。

我认识一个在三甲医院信息科的朋友,去年他们上了套AI辅助诊断系统,院长在会上拍板说"别人都上了我们不上就落后了"。系统上线三个月后,放射科主任发现模型在老年患者群体上的假阳性率明显偏高——但没人知道该找厂商还是找信息科,更没人提过模型需要定期重新校准这回事。他跟我描述那个场景的时候,语气很平淡:"反正就是先跑着呗,出问题再说。"

这大概就是医疗AI的现状。先跑起来,问题以后再说。

信任赤字:比算力更贵的隐性成本

同样的矛盾正在代码编辑器里上演。2026年的统计显示,84%的开发者日常使用AI编码工具,但只有29%的人信任AI输出的准确性。GitHub Copilot的付费席位已经超过470万,企业采用量一年翻了两倍——然后呢?开发者一边用它生成代码,一边逐行审查它写的东西,心里默认"这玩意儿大概率有错,我得盯着改"。

这不是效率工具,这是带着镣铐的加速器。

我把这两组数据放在一起看的时候,意识到一个更根本的问题:AI的采用曲线已经远远甩开了信任曲线。我们花钱建算力、买工具、培训员工,但没人在意"人是否真的相信这个系统的输出"。

医疗场景里,医生如果对AI的建议半信半疑,他会做更多的检查来确认——这反而增加了成本和风险。开发者如果不信任AI生成的代码,审查时间可能比手写代码还长。信任赤字不会让AI停下来,但它会悄悄抬高每一笔AI投入的实际成本。

这才是真正的瓶颈。不是算力不够,不是模型不够强,是人不敢把关键决策交给一个说不清原理的系统。

治理不是刹车,是安全带

OpenAI上周发布的GPT-5.6-Cyber把这个问题推到了另一个极端。这个模型能完成95%的高级进攻性安全提示,评级达到"高"——换句话说,它在网络安全攻防上的能力已经接近专业红队成员的水平。而OpenAI自己暂停了另一个可能触及"严重"阈值的模型Astra,因为安全评估没过关。

一个能自主发现Chrome零日漏洞的AI,和一套能自主决定患者用药方案的AI,表面上风马牛不相及。但它们指向同一个问题:当系统的能力超过人类能实时监督的范围,治理就从"锦上添花"变成了"生死攸关"。

NGMN(下一代移动网络联盟)上周发了一份报告,警告Agentic AI(能自主决策和行动的AI)在移动网络里大规模部署时,如果运营商、设备商各自为政,接口不统一、治理框架不协调,整个网络会碎成一片。他们说得很直接:碎片化会让AI在网络里的行为变得不可预测,而不可预测的后果是——没人敢把关键业务交给它。

这跟医疗AI的困境一模一样。不是技术不行,是标准和治理还没跟上,导致谁都不敢真正放手。

我一开始以为这是个技术问题——模型不够可靠、算法不够透明。后来发现不是。这是组织问题、制度问题、甚至是文化问题。机构里没人被授权说"这个模型不能上线",也没人愿意为"这个模型出了问题我负责"签字。治理的缺位,本质上是责任分配机制的缺位。

坦白说,写到这里我自己也觉得有点悲观。但换个角度看,治理滞后恰恰说明AI已经跨过了"能不能用"的门槛,进入了"怎么用好"的阶段。78%的医疗机构在生产环境跑AI,这个数字五年前是零。问题从"要不要用"变成"怎么负责"——这本身就是进步的标志。

接下来的关键不是让AI跑得更快,而是让信任能追上采用。需要可解释的模型、需要明确的问责路径、需要行业统一的标准。这些听起来不如"发布新模型"性感,但它们才是决定AI能走多远的东西。

如果三年后回看,我大概率会觉得现在这些担忧还是太乐观了。但至少有一点我越来越确信:AI的下一个瓶颈不在模型能力,在人愿不愿意把方向盘交出去。而让人类愿意交方向盘的方式,从来不是告诉他这车有多快,而是让他相信刹车真的有。

策展来源与事实依据(5)
ncnewsonline.com

Healthcare Machine Learning Hits Production Scale as Governance Falls Behind, Black Book's Fourth Annual Report Finds

Black Book Research发布第四年度医疗机器学习报告,显示78%的医疗机构已持续生产运行AI/ML,但仅19%拥有完整的生命周期管控,治理明显滞后于采用。报告涵盖美欧采用、创新、保障及2027需求展望。

查看原始事实依据
techtimes.com

GPT-5.6-Cyber Uncovered Chrome Zero-Days Standard AI ...

OpenAI发布GPT-5.6-Cyber,能完成95%高级进攻性安全提示,评级为“高”。未发布的Astra模型可能接近“严重”阈值,被暂停。OpenAI实施严格访问控制,包括身份验证和硬件安全密钥。

查看原始事实依据
securitybrief.co.nz

NGMN says Agentic AI needs alignment for mobile networks

NGMN发布报告指出,Agentic AI在自主移动网络中的大规模部署需要行业更广泛的协调。报告强调治理、信任、政策遵守、可观测性、安全性等关键领域,并警告若运营商、厂商等不协调架构和接口将导致碎片化。

查看原始事实依据
sqmagazine.co.uk

AI Coding Statistics 2026: 84% of Developers Use the Tools, Only 29% Trust Them

2026年AI编码统计显示84%开发者使用AI工具,但仅29%信任其准确性。GitHub Copilot企业采用近14万组织,同比增两倍;付费席位超470万,Microsoft 365 Copilot付费席位超2000万,采用与信任差距扩大。

查看原始事实依据
eciks.org

AI data centers and power solutions drive major investment themes heading into 2026's second half

2026年AI基础设施投资主导资本配置,超大规模云提供商承诺约7000亿美元,高于2025年的4000亿。能源供应成为瓶颈,下一代AI数据中心建造成本达每兆瓦1500-2000万美元,高盛预测2026年AI资本支出达7650亿美元。

查看原始事实依据

分享这篇观察

生成分享图发布到社交平台

讨论与共鸣(0)

加载评论中...

后参与讨论