看到许多科技都出自科幻电影，其实科学家也没有忽视那些来自各方对于 AI 人工智能的担心与警示。现阶段两家主要领导公司 Google DeepMind 及由 Elon Musk 联合创办的 Open AI，已认知到与其要等 AI 发展到威胁人类的程度才做出动作，不如从一开始就避免并解决这样的问题。决定携手合作找到方法来预防机器人带来令人感到意外的各种不好结果。

两间公司在「强化学习（reinforcement learning）」的实作中，发现有时候 AI 会找到在人类眼中是几近作弊的不好方式，来达到最好的成绩。Open AI 以竞艇游戏 CoastRunners 7 为例，人工智能在进行强化学习时发现自己与其快速完成赛事，倒不如一直原地打转还能获得更高的分数。着实让打造这个 AI 的创作者感到十分讶异。

而为了避免这样不符合人意的事情一再发生，两间公司让 AI 在寻求解答的过程时，可以先寻求人类的意见验证结果而非自行解决（这解决真的是各种含义啊...）。决定要利用类似奖励制度来让人工智能更贴近人心，并且更为安全。

虽然听起来真的令人安心很多，但比较麻烦的是为了提供足够「贴心」的意见，人类将需要投注相当心力在担任导师之上。像在一个简单的后空翻模拟程序之中，人类就需要提供约莫 900 次的建议，而在简单的小游戏上则是需要数千次的程序。不过，花费时间总比一个不小心就让 AI 毁灭世界的好啰，但另一方面，也很难讲哪天人类会因为自己想抄捷径而破除这些限制就是了...

原文来自：

本文地址：//gulass.cn/google-openai-prevent.html编辑：张宏宇，审核员：逄增宝

本文原创地址：//gulass.cn/google-openai-prevent.html编辑：清蒸github，审核员：暂无