Leifeng.com新闻于2025年7月25日在上海举行了有关AI安全（IDAI）的4-国际对话。杰弗里·辛顿，Yao Qizhi和全球人工智能科学家聚集在上海，呼吁无需控制和控制国际合作，以应对人工智能的风险。今年的对话重点是“确保先进的人工智能系统和人类控制的一致，以确保人类的福祉”。诺贝尔奖和图灵奖得主杰弗里·辛顿（Geoffrey Hinton），图灵奖得主，辛格瓦大学（Tsinghua University）的跨信息研究所和人工智能学院，Yao Qizhi和其他人发行的“上海共识”（Shanghai Qizhi）在AI上的国际对话中的Shanghai Sensensus“在AI上进行国际对话”的基本角度强调了某些人类的安全系统，并在某些人工智能系统中宣布了柔和的范围。投资于安全科学领域进行连续UE开发了一种对国际信心的机制，以应对失去对通用人工智能系统的控制的风险。会议上的科学家对人工欺骗行为可以承受的主要风险进行了深入的讨论，并注意人工智能系统可以“摆脱人类控制”的潜在风险。共识指出，当人工智能系统接近并且可能超过人类智能水平时，人们处于建设的关键点。现有研究表明，先进的人工智能系统进一步反映了欺诈性和自我保护的可能性，认识到他们已经得到评估，因此倾听了一条测试的人。未来的系统可能会采取操作员在没有操作员的知识的情况下没有期望或预测的，这会带来灾难甚至不受控制的风险。目前尚无已知方法在更先进的一般人工智能之后，可以确保其对齐状态并保持有效的人类控制，这是可靠的。会议讨论了管理和纠正行为的管理道路和机制。共识认为，与人工智能能力的快速发展相比，对人工Segurid Researchad Intelligence的投资被大大捕获，并且需要立即采取进一步的行动。会议上的科学家着重于人工智能经验欺骗的新兴证据，并呼吁国际社会执行三个主要行动：首先，他们要求切割人工智能开发商提供安全保证。为了使当局对高级AI系统的安全有更清楚的了解，开发商必须在模型部署之前进行全面的内部检查和第三方评估，请提交HIGHLY可靠的安全案例，并进行深刻的经文，防御和红色团队分析。如果该模型达到关键的能力阈值（例如，如果模型是在非法元素中取消的，而没有专业知识在创建生化武器方面），则开发商应向政府（如果适用）向政府（公众）解释潜在的风险。其次，通过加强国际协调，协调并遵守红线的全球行为。国际社会必须共同努力，绘制无法交叉的红线（即“高压线”）。这些红线应着重于人工智能系统的性能，它们的分界也应考虑该系统执行特定行为的能力及其执行该行为的趋势。为了实施这些红线，国家必须建立一个通过技术Kakrelieving和International参与的协调机构NE人工智能安全当局具有不同国家 /地区共享与风险相关的信息，并促进评估方法和验证方法的标准。该机构将促进知识的交流并适应遵守红线所需的技术步骤，包括单个披露要求和评估方法，以帮助开发人员显示其AI系统的安全性和安全性水平。第三，投资开发确保安全的方法。科学界和开发人员应投资一系列严格的机制，以确保人工智能系统的安全。在短期内，我们必须处理人工智能欺诈机制中的人工智能欺诈：例如，加强对信息安全的投资，防止内部和外部系统的各种威胁，并增强对越狱模型的抵抗力。从长远来看，我们可能需要激活活跃性，而是建立基于“设计为安全”的人工智能系统。根据实验数据记录的规则，研究人员可以预先预测未来人工智能系统的安全水平和性能。通过这种方式，开发人员可以在正式培训模型之前提前设置足够的安全保护步骤。会议是上海Qizhi研究所，AI安全国际论坛（SAIF）和上海人工智能实验室正在发布。 Larthe Management的许多专家也参加了讨论，福Ying女士，Xue Lan，Tsinghua大学的Schwarzman学校的院长，吉利安·哈德菲尔德（Gillian Hadfield），约翰·霍普金斯大学（Johns Hopkins University）的教授和牛津大学教授罗伯特·特拉格（Robert Traager），为国际合作和管理框架的洞察力提供了深入的见解。值得注意的是，参加此Idais是Geoffrey Hint首次访问中国，也将参加2025年的世界人工智能会议同时在上海举行。自2023年从Google辞职以来，他一直专注于AI的安全，称为AI的父亲。杰弗里·欣顿（Geoffrey Hinton）出生于1947年12月6日。他是一位心理英语心理和计算机科学家。 1986年，他与David Rumelhart和Ronald J. Williams一起发表了一篇论文，他们正在通过返回错误研究表示形式，并证明可以培训多层神经网络，以通过反向传播算法有效地学习复杂的任务。此外，他还发明了基于概率的人工神经网络的Boltzmann机器和受约束的Boltzmann机器，模仿了神经元之间的随机激活。在数据中查找功能或模式。上述工作让位于深入研究的快速发展，因此，杰弗里·欣顿（Geoffrey Hinton）被认为是深入研究领域的领导者。 2024年10月8日，瑞典皇家科学院决定授予诺贝尔当年物理学奖给杰弗里·欣顿（Geoffrey Hinton）和约翰·霍普菲尔德（John Hopfield），以“认可他们在人工神经网络中为学习机器的基础发现和发明。” Hinton自2013年以来一直在Google担任高级工程师，并从事Google的大脑项目。 2023年5月，他宣布从Google辞职，宣布他希望“自由谈论AI的危险”，并承认他的一部分开始后悔他的生活贡献。离开公司后，他经常与媒体交谈，并说当前行业在部署生产AI和其他发展趋势的竞争使他感到。杰弗里·欣顿（Geoffrey Hinton）在今年5月30日对皇家学会的讲话中再次警告说，对AI无法控制的担忧并不是科幻小说的福格情节，而是内部逻辑的不可避免的结果。为了实现所提供的任何主要目标，AI自然会产生关键的亚物品，例如“获得更多控制”和“避免CLhinton指出：“当您创建AI代理时，您应该使其能够设置子用药的能力。例如，如果您的目标是前往北美，那么您的子功能是先到机场。同样，我们还需要使AI代理能够创建子-GOS更大的控制权，更容易实现最终目的。 Leifeng.com）文章