IT之家 5 月 12 日消息,据英国《卫报》10 日报道,麻省理工学院 AI 安全研究者马克斯・泰格马克指出,他进行了类似当年美国物理学家阿瑟・康普顿在“三位一体”核试前所做的概率计算,结果显示:高度发达的 AI 有九成可能带来生存威胁。
IT之家注:1945 年,美国在获知原子弹引发大气层燃烧的可能性几乎为零后,推进了历史性的“三位一体”核试验。
泰格马克与三名麻省理工学生合作发表论文,建议借鉴“康普顿常数”的概念 —— 即强 AI 失控的概率。在 1959 年的一次采访中,康普顿提到,他是在确认失控核聚变的几率“不足三百万分之一”后才批准了核试验。
泰格马克强调,AI 企业必须认真计算“人工超级智能”(ASI)是否会脱离人类掌控,而非凭感觉行事。“打造超级智能的公司必须计算康普顿常数,即我们可能失控的几率,光说‘我们有信心’是不够的,必须拿出具体数据。”
他指出,如果多家公司联合计算康普顿常数并形成共识,将有助于推动全球范围内 AI 安全机制的建立。
泰格马克是麻省理工学院的物理学教授及 AI 研究者,其参与创办了致力于推动 AI 安全发展的非营利组织“未来生命研究所”。2023 年,该机构发布公开信,呼吁暂停开发更强大的 AI 系统。这封信获得超过 3.3 万人签名,其中包括早期支持者埃隆・马斯克和苹果联合创始人史蒂夫・沃兹尼亚克。
信中警告称,各大实验室正陷入“失控竞赛”,开发越来越强大的 AI 系统,而这些系统“人类无法理解、预测或可靠控制”。