英国の理論物理学者であるホーキング博士。「車椅子の物理学者」として知られるホーキング博士は、これからのメイン科学技術の一つであるAI（人工知能）に警鐘を鳴らす人物の一人。そんなホーキング博士がRedditのAMA（何でも聞いて）に登場しました。サイエンススペシャルと題されたAMAで、英語学習をしながら知識も身につけましょう。オリジナルはこちらから。
メディアが語るAI像が正しいとは限らない
Professor Hawking- Whenever I teach AI, Machine Learning, or Intelligent Robotics, my class and I end up having what I call "The Terminator Conversation." My point in this conversation is that the dangers from AI are overblown by media and non-understanding news, and the real danger is the same danger in any complex, less-than-fully-understood code: edge case unpredictability. In my opinion, this is different from "dangerous AI" as most people perceive it, in that the software has no motives, no sentience, and no evil morality, and is merely (ruthlessly) trying to optimize a function that we ourselves wrote and designed. Your viewpoints (and Elon Musk's) are often presented by the media as a belief in "evil AI," though of course that's not what your signed letter says. Students that are aware of these reports challenge my view, and we always end up having a pretty enjoyable conversation. How would you represent your own beliefs to my class? Are our viewpoints reconcilable? Do you think my habit of discounting the layperson Terminator-style "evil AI" is naive? And finally, what morals do you think I should be reinforcing to my students interested in AI? ホーキング博士、私がAIについて、機械学習について、もしくはインテリジェントロボティックスについて教える時、授業はいつも私が勝手に名付けた「ターミネーター会話」となってしまいます。つまりAIの危険はメディアと理解の伴っていないニュースによって誇張されていて、本当の危機と言うのは、十分に理解されていないまま複雑なコードが書かれたり、予想だにしない使われ方がされたりすることだと思います。 私の考えでは、これは多くの方が認識している「危険なAI」とは異なり、ソフトウェアには動機がなければ、直感もない、さらに言えば邪悪なモラルもなければ、人間がデザインした機能を効率化しようとさえしません。あなた（そしてイーロン・マスク）のAIに対する考えはよくメディアに「邪悪なAI」として取り上げられますが、これはあなたが署名して出した言葉ではありません。生徒はこういった報告が私の考え方に挑戦していることに気づき、私たちはいつも楽しい議論をします。あなたならどのように信念を生徒に伝えますか？私たちの考え方は妥協できるでしょうか？素人によるターミネーターのような「邪悪なAI」主義を疑うのは甘い考えだと思いますか？そして最後に、AIに興味を持つ生徒に、どのようなモラルを身につけるべきだと教えるべきでしょうか？
【単語解説】
whenever – ~するときはいつでも
machine learning – 機械学習
end up – ~という結果になる
overblown – 誇張する
perceive – 認識する
optimize – 効率化する
sentience – 直感
reconcilable – 調和する、和解できる
layperson – 素人
discount – 無視する、疑う
naive – 考えが甘い
Answer: You’re right: media often misrepresent what is actually said. The real risk with AI isn’t malice but competence. A superintelligent AI will be extremely good at accomplishing its goals, and if those goals aren’t aligned with ours, we’re in trouble. You’re probably not an evil ant-hater who steps on ants out of malice, but if you’re in charge of a hydroelectric green energy project and there’s an anthill in the region to be flooded, too bad for the ants. Let’s not place humanity in the position of those ants. Please encourage your students to think not only about how to create AI, but also about how to ensure its beneficial use. あなたは正しい。よくメディアは実際の言動に対して間違った解釈をする。AIによる本当のリスクは悪意ではなく能力だ。スーパーインテリジェントAIは目標を容易に達成することだろう、それがどんなゴールであれ、私たちは問題を抱えることになる。恐らくあなたは悪意によって蟻を踏み潰すような邪悪な蟻ヘイターではないでしょう。しかし、もしあなたが水力発電グリーンエネルギーの担当者で、水が流れるところに蟻塚があるとしましょう。これは蟻たちにとっては最悪のことです。だからといって、人道を不幸な蟻たちのために貫くのはよしましょう。生徒にはAIを作るだけではなく、有益な使用方法を考えるようにと言ってください。
【単語解説】
misrepresent – 不正確に伝える
malice – 悪意
accomplish – 達成する
competence – 能力
aligned – 位置合わせした
hydroelectric – 水力発電の
anthill – 蟻塚
AIによる脅威はいつ訪れる？
Hello Doctor Hawking, thank you for doing this AMA. I am a student who has recently graduated with a degree in Artificial Intelligence and Cognitive Science. Having studied A.I., I have seen first hand the ethical issues we are having to deal with today concerning how quickly machines can learn the personal features and behaviours of people, as well as being able to identify them at frightening speeds. However, the idea of a “conscious” or actual intelligent system which could pose an existential threat to humans still seems very foreign to me, and does not seem to be something we are even close to cracking from a neurological and computational standpoint. What I wanted to ask was, in your message aimed at warning us about the threat of intelligent machines, are you talking about current developments and breakthroughs (in areas such as machine learning), or are you trying to say we should be preparing early for what will inevitably come in the distant future? こんにちは、ホーキング博士。AMAに参加してくださったこと感謝します。私は人工知能と認識科学の学位を取得して、つい最近大学を卒業したものです。AIを研究していて、今日私たちが抱える倫理的な問題は、機械が人間の特徴や行動から学習するスピードだと思いました。しかし「意識のある」というアイデアもしくは人間の脅威となるようなインテリジェントシステムの誕生は、まだ遠い外国のような話に思いました。また私たちは神経学の、もしくはコンピューターの観点を破壊しうる場所にいるとも思えません。私が尋ねたいことは、インテリジェントマシーンに対するあなたの警鐘は、あなたは機械学習のような現在の開発とそのブレイクスルーについて話しているのですか？それともまだ遠い未来に起きる必ずやってくる脅威に備えるように言っているのですか？
【単語解説】
graduate – 卒業する
cognitive science – 認識科学
ethical – 道徳的な、倫理的な
deal with – ~に対処する
feature – 特徴
neurological – 神経学の
foreign – 無関係の
current – 現在の
prepare – 準備する
inevitably – 必ず
Answer: The latter. There’s no consensus among AI researchers about how long it will take to build human-level AI and beyond, so please don’t trust anyone who claims to know for sure that it will happen in your lifetime or that it won’t happen in your lifetime. When it eventually does occur, it’s likely to be either the best or worst thing ever to happen to humanity, so there’s huge value in getting it right. We should shift the goal of AI from creating pure undirected artificial intelligence to creating beneficial intelligence. It might take decades to figure out how to do this, so let’s start researching this today rather than the night before the first strong AI is switched on. 後者です。AI研究者の間で、人間レベルのAIと人間を超えたAIが開発される時間で意見の一致はありません。だから生きている間にAIが人間を超える、もしくは生きている間にそれは起きないと言う人を信用してはいけません。AIがついに人間を超えたとき、人類史上最もいいこと、もしくは最悪なことが起きるでしょう。私たちは目的のない人工開発から、有益な知能作りへとシフトするべきです。どうやってそれを実行するのか判明するのは数十年後かもしれませんが、世界初となる強力なAIにスイッチが入る前、今日から研究を始めましょう。
【単語解説】
researcher – 研究者
claim – 主張する
lifetime – 生涯
decade – 10年間
アインシュタインは彼の両親よりも頭がよかった
My questions: 1. One might think it impossible for a creature to ever acquire a higher intelligence than its creator. Do you agree? If yes, then how do you think artificial intelligence can ever pose a threat to the human race (their creators)? 2. If it was possible for artificial intelligence to surpass humans in intelligence, where would you define the line of “It’s enough”? In other words, how smart do you think the human race can make AI, while ensuring that it doesn’t surpass them in intelligence? 私の質問は次の通りです。1．創作者はその創作者よりも高い知能を持つのは不可能だと考える方もいます。あなたは同意しますか？もし同意するのならば、どのように人工知能は人類（人工知能の創作者）に脅威を向けますか？2．人工知能が人間の知能を超えるのが可能ならば、「もう十分だ」という定義ラインはどこにひきますか？言い換えれば、人間の知能を超えない保証をしながら、人間がAIを作るのは可能だと思いますか？
【単語解説】
creator – 創作者
threat – 脅威
human race – 人類
surpass – 超える、上回る
define – 定義する
in other words – 言い換えれば
ensure – 保証する
Answer: It’s clearly possible for a something to acquire higher intelligence than its ancestors: we evolved to be smarter than our ape-like ancestors, and Einstein was smarter than his parents. The line you ask about is where an AI becomes better than humans at AI design, so that it can recursively improve itself without human help. If this happens, we may face an intelligence explosion that ultimately results in machines whose intelligence exceeds ours by more than ours exceeds that of snails. 何かが祖先よりも高い知能を持つのは明らかに可能である。私たちは猿のような祖先よりも賢くなるように進化した。アインシュタインは彼の両親よりも賢かった。あなたが尋ねた線引きはAIが人間よりも上手にAIデザインできるようになったところにあるだろう。人間のサポートなしでAI開発ができるということは、人間の手助けなしで発展を遂げることができるということだ。もしこれが起きたら、我々は人間よりもずっと賢い知能を持つ機会によって引き起こされる知能の爆発に直面することになるだろう。
【単語解説】
acquire – 獲得する
ancestor – 祖先
evolve – 進化する
ape-like
この表現は便利なので覚えましょう。意味は「猿のような」。名詞＋like＋名詞で「～のような名詞」という意味になります。apple like red cheeksで「リンゴのように赤い頬っぺた」ですね。
まとめ
ホーキング博士はAIに警鐘を鳴らす人物ですが、重要なのは人間にとって有益なAIを作ることだと述べています。世界的に著名な学者に誰でも質問できるのは、AMAならではの魅力です。今回紹介した質問の他にも、数多くの質問にフランクに答えてくれます。読んでみるだけでも面白いので、ぜひ本スレッドも時間のある時に目を通してみてください。