メモ帳

備忘録

人工知能の反逆?

Google人工知能の反逆を抑止する「非常ボタン」開発

http://japanese.engadget.com/2016/06/06/google/

KIYOSHI TANE(多根清史?)という人が書いた上の記事、タイトルには”Google人工知能の反逆を抑止する「非常ボタン」開発”と書かれているけれど、元となった文書(PDF)のAbstractを読んでも、

  • (前提)強化学習のエージェントは、実世界で動作する場合、いつでも最適な行動を取るとは限らないため、周囲やエージェント自体に害を与えそうな場合には人間が "big red button" を押して動作を停止する必要があった。
  • (問題点)もし、この一連の流れからエージェントが学習を行うと、エージェントが人間や周囲の環境によって停止させられることがないように "red button" を使えなくしたりなど、人間にとって望ましくない学習をしてしまう恐れがある。
  • (研究内容)本論文では、エージェントが人間や環境から停止させられないように学習してしまうのを避ける方法を研究する。

みたいなことしか書かれてなくて、どこにも”「非常ボタン」を開発”という内容は含まれていない。