辛顿提议AI产品上市前通过安全审核

驱动中国10月7日消息，杰弗里·辛顿提出，AI公司在产品正式发布前，应先向监管机构证明产品具备安全性。辛顿希望AI企业跨过制药行业早已熟悉的监管门槛。

在当地时间周二播出的《Smart Girl Dumb Questions》播客节目中，这位被称作“AI教父”的诺贝尔奖得主、计算机科学家向主持人纳伊玛·拉扎表达上述观点。辛顿说，不能直接研制一款新药就推向市场，必须说服美国食品药品监督管理局；为完成相关审核，需要开展大量工作，投入大约十亿美元级别。

辛顿补充说，对于人工智能，至少也应当设立这样的要求。

辛顿提出这套方案的背景，包括各界不断出现关于AI带来灾难性后果的预判，以及OpenAI在测试之后，出于对模型服从用户指令、恪守权限边界的担忧，已经搁置自家最新模型。

在《商业内幕》的采访中，OpenAI安全系统负责人萨奇·贾恩表示，GPT-6.1 Astra模型在持续处理高难度任务方面有所进步，但在权限管控以及行为日志反馈方面仍存在短板。

辛顿认为，人工智能正在越来越多地实现自我迭代优化，这既可能加速能力提升，同样也会放大潜在风险。他说，指数级的增长速度十分惊人，已经开始看到递归式自我改进现象：人们正在以多种多样的方式，借助AI本身去改良AI。

辛顿同时表示，这仅属于他的推测，并估计距离局面远比现在糟糕，大概只剩一两年时间。