网1月20日报道 据美国每日科学网站1月11日报道，人工智能（AI）一直在取得更大的进步，一些科学家和哲学家对不可控制的超级智能AI的危险发出了警告。
一个包括马克斯·普朗克人类发展研究所人类与机器研究中心的科学家在内的国际研究团队，用理论计算结果证明，控制超级智能AI很可能难以做到。这项研究结果发表在《人工智能研究杂志》上。
报道称，假设有人要为一个智能优于人类的AI系统编程，这样它就可以独立学习。与互联网相连的AI可能会访问人类的所有数据。它可以取代现有的所有程序，并在线控制全世界所有机器。这会导致一个乌托邦还是反乌托邦？AI能治愈癌症、带来世界和平并防止气候灾难吗？还是说它会摧毁人类并占领地球？
研究报告的作者之一、马克斯·普朗克人类发展研究所人类与机器研究中心数字动员小组负责人曼努埃尔·塞布里安说：“一个超级智能机器控制整个世界，这听起来像是科幻小说。但是，已经有一些机器能够独立完成某些重要任务，而程序员不完全了解它们是如何学会的。因此，问题就出现了，这种情况是否会在某一时刻变得无法控制并对人类构成危险。”
对于如何控制超级智能AI，科学家们探索了两种不同的想法。一方面，特别限制超级智能AI的能力，比如，把它与互联网和其他一切技术设备隔开，这样它就无法与外部世界接触——但这将使超级智能AI的功能大大降低，无法满足人类的要求。如果没有这样的选择，从一开始就可以激励AI去追求只符合人类最佳利益的目标，比如通过把道德原则编到它的程序中。但研究人员也表明，这些以及其他当代和历史上控制超级智能AI的想法都有其局限性。
在这项研究中，研究团队构想了一种理论遏制算法，通过模拟AI的行为并在被认为有害的情况下予以制止，由此确保超级智能AI在任何情况下都不会伤害人类。但细致的分析结果显示，在目前的计算范式中，这种算法是无法建立的。
人类与机器研究中心主任伊亚德·拉万说：“如果把问题分解成理论计算机科学的基本规则，那么事实证明，命令AI不要毁灭世界的算法可能会无意中停止自己的运行。如果发生这种情况，你就不知道遏制算法是仍在分析威胁，还是已经停止以遏制有害的AI。事实上，这使得遏制算法变得不可用。”
报道认为，基于这些结果，遏制问题是不可计算的，即任何单一算法都无法找到一个判断AI是否会对世界造成伤害的解决方案。