Superintelligence: Paths, Dangers, Strategies

“Superintelligence: Paths, Dangers, Strategies" by Nick Bostrom is an intellectually stimulating and thought-provoking book that delves into the future of artificial intelligence (AI) and its potential impact on humanity. Bostrom, a philosopher at Oxford University, presents a meticulously researched and well-argued case for the possibilities and risks that superintelligent entities might bring. The book stands out for its rigorous analysis and balanced perspective. Bostrom carefully navigates the reader through various scenarios where AI surpasses human intelligence, discussing both the transformative benefits and the existential risks. His writing style is scholarly yet accessible, making complex ideas about AI ethics, future forecasting, and strategic planning understandable to a broad audience. One of the most compelling aspects of the book is its exploration of the 'control problem' - how humans could control entities far smarter than themselves. Bostrom does not shy away from the challenging philosophical and technical issues this problem presents. He also emphasizes the importance of preparatory work in AI safety research, encouraging proactive measures rather than reactive. However, some readers might find the level of detail and theoretical nature of the discussions somewhat daunting. The book demands attentiveness and a willingness to engage with deeply philosophical and technical content. Additionally, while Bostrom presents a wide array of possibilities, the book sometimes leans more towards speculative thought than practical solutions. "Superintelligence: Paths, Dangers, Strategies" is a seminal work in the field of AI and an essential read for anyone interested in the future of technology and its implications for humanity. Bostrom's thorough approach offers valuable insights and raises critical questions that will shape the ongoing conversation about AI and our future.

This book makes some very important points about the existential risks superintelligence would pose to humanity without going off the deep end with unrealistic doomsaying or conspiracy theories. The reasoning is logical and reasonably well laid out. The book is about more than just artificial superintelligence (although that's the main topic) and discusses a variety of ways other than AI that superintelligence might be achieved. It also goes into how to mitigate the threat superintelligence poses in some detail. The main flaw in the book is that occasionally the writing itself isn't that great, either being poorly structured or awkwardly worded... it would have benefited from one more editorial scrub to smooth out the prose. Still, well worth reading!

I picked this book up because I have a kid at CalTech majoring in AI programming, machine learning. He seems to see only upside, no real concerns about 99% of the population being put put of work, and what I believe is inadequate apprehension about what could go wrong. Mom is a huge fan of Stephen Hawking and he was more than a bit apprehensive about the potential problems with self-learning machines. Most of the books and articles I have read on the topic are cursory or naieve. Nick Bostrom's book is fairly comprehensive and in depth. I am enjoying it as much as an excellent read in philosophy of science., as I am for his expanding the boundaries of the conversation, indeed, broaching it in many areas. I honestly do not know whether he says everything which needs to be said, but he has clearly thought it through and done a good deal of exploring, consulting, conversing ,collaborating. It is far and away the best book I have read on the topic {though there are some good pieces in MIT Technology Review as well). This is a book which is important and timely. We must seriously consider and weigh the potential for harm as well as good before creating a monster. While there may be areas which he has missed, I feel that when I read about a brute force approach to building human level AI by recreating a brain at the quantum level using Schrodinger's equation, the man is clearly pushing the boundaries. If nothing else it is a very good start to an important conversation. I picked this up because I was considering sending a copy to my son, but read it first because he is a busy guy and chooses his side reading carefully. There are books and articles I might mention or even recommend, and others I tell him not to waste his time on, this is one I will be sending him {though I would be very very surprised if someone at Cal Tech did not broach ...all of what is contained here). I will let him determine if it is redundant. It is well written and thorough, and also very approachable. He says in the prologue that overly technical sections may be skipped without sacrificing any meaning. I have not encountered one I needed to skip, and have, in fact, very much enjoyed the level of discourse. Read it if you are in the field to make sure you are covering all the bases. Read it if you are a scientist, philosopher, engineer to enjoy some very good writing. Read it if you are just encountering AI and want to quickly get to speed on the issues. It is not only a book I would recommend, but have, to anyone who would listen ;)

I love the general idea of evaluating the potential perils of artificial super intelligence, and I buy into the concept of thinking this through at an abstract level, not tied to the current state of AI algorithms in today's computer science. That's what this book does - systematically explore every branch of a pretty large decision tree around everything that could or could not happen when an artificial intelligence starts developing super-intelligence, and how we should deal with it. So, conceptually cool. But practically, in the case of this book, not very interesting. For a couple of reasons. First, the level of abstraction really is taken to an extreme. Forget about any relation between arguments in this book and anything we've actually been able to do in AI research today. You won't find a discussion of a single algorithm or even exploration of higher-level mathematical properties of existing algorithms in this book. As a result, this book could have been written 30 years ago, and its arguments wouldn't be any different. Fine, I guess (the author after all is a philosophy professor, not a computer scientist); but I found this lacking at times. It gets particularly boring when the author actually does spend pages over pages on introducing a framework on how our AI algorithms could improve (through speed improvement, or quality improvement, etc.) - but still doesn't tie it to anything concrete. If you want to take the abstraction high road, just dispense with super generalized frameworks like this altogether and get to the point. Similar to the discussion of where the recalcitrance of a future AI will come from, whether from software, content or hardware: purely abstract and speculative, even though there are real-world examples of hardware evolution speed outpacing software design speed and the other way around (e.g., the troubles of electronic design automation keeping up with Moore's Law). Second, even if you operate fully in the realm of speculation, at least make that speculation tangible and interesting. A list of things an AI could be good at lists stuff like "social persuasion" (= convince governments to do something, and hack the internet). Struck me a lot of times as the kind of ideas you'd come up with if you thought about a particular scenario for a few minutes over a beer with friends. Very few counterintuitive ideas in there. One chapter grandly announces the presentation of an elaborate "takeover scenario", i.e., how would a superintelligence actually take over the world - and again it remains completely abstract and not original or practical. ("AI becomes smart, starts improving itself, takes over the world" - couldn't have guessed it myself.) Third, a lot of the inferences in the book struck me as nothing more than one-step inferences, making it a relatively shallow brainstorming-type book. ("This could happen, and also this other thing could happen, and this third thing as well.") Systematic exploration of a large decision tree gets interesting when you start combining lots of different scenarios in counter-intuitive ways. Again the "friends over a beer" problem. At times the philosophizing in some chapters reads like a mildly interesting Star Trek episode (such as the one about how to best set goals for an AI so that it acts morally and doesn't kill us). In the best and worst ways. But every now and then, there's a clever historical analogy, and an interesting idea. Ronald Reagan wasn't willing to share the technology on how to efficiently milk cows, but he offered to share SDI with the USSR - how would AI be shared? Or, the insight that the difference between the dumbest and smartest human alive is tiny on a total intelligence scale (from IQ 75 to IQ 180) - and that this means that an AI would likely look to humans as if it very suddenly leapt from being really dumb to unbelievably smart and bridge this tiny human intelligence gap extremely quickly. But what struck me with regards to the best ideas in the book is that the book almost always quotes just one guy, Eliezer Yudkovsky... which made me think that if I wanted to read a thought-provoking, counter-intuitive book on AI super intelligence (as opposed to a treatise that appears to at times gloss over the shallowness of its ideas by making up with long text), I should just go and read Yudkovsky. All in all though, the topic itself is so interesting that it's worth giving the book a try.

The author has obviously put a huge amount of thought into this topic. The number of angles he considers in terms of implementation timelines, methodologies, pros and cons for each, likelihood of the success of different methodologies over various timeframes, are impressive. For example, in discussing the various ways in which AI might be implemented, he concludes that AI (and subsequently, super-intelligent AI) via whole brain emulation is essentially guaranteed to happen due to ever-improving scanning techniques such as MRI or electron microscopy, ever-increasing computing power, and the fact that understanding the brain is not necessary to emulate the brain. Rather, once you can scan it in enough detail, and you have enough hardware to simulate it, it can be done even if the overarching design is a black box to you (individual neurons or clusters of neurons can already be simulated, but we lack the computing power to simulate 10 billion neurons, and we lack the knowledge of how they are all connected in a human brain -- something which various scanning projects are already tackling). However, he also concludes that due to the time it will take to achieve the necessary advances in scanning and hardware, whole brain emulation is unlikely to be how advanced AI is actually, or initially, achieved. Rather, more conventional AI programming techniques, while perhaps posing a greater need for understanding the nature of intelligence, have a much-reduced hardware requirement (and no scanning requirement) and are likely to reach fruition first. This is just one example. He slices and dices these issues more ways than you can imagine, coming to what is, in the end, a fairly simple conclusion (if I may inelegantly paraphrase): Super-intelligent AI is coming. It might be in 10 years, maybe 20, maybe 50, but it is coming. And, it is potentially quite dangerous because, by definition, it is smarter than you. So, if it wants to do you harm, it will and there will be very little you can do about it. Therefore, by the time super-intelligent AI is possible, we better know not just how to make a super-intelligent AI, but a super-intelligent AI which shares human values and morals (or perhaps embodies human values and morals as we wish they were, since as he points out, we certainly would not want to use some peoples' values and morals as a template for an AI, and it may be hard to even agree on some such philosophical issues across widely-divergent cultures and beliefs). This is a thought-provoking book. It raises issues that I never even would have thought of had the author not pointed them out. For example, "infrastructure proliferation" is a bizarre, yet presumably possible, way in which a super-intelligent (but in some ways, lacking common sense) AI could end life as we know it without even being malicious -- just indifferent to us while pursuing pedestrian goals in what is, to it, a perfectly logical manner. I share the author's concerns. Human-level (much less super-intelligent) AI seems far away. So, why worry about the consequences right now? There will be plenty of time to deal with such issues as the ability to program strong AI gets closer. Right? Maybe, maybe not. As the author also describes in detail, there are many scenarios (perhaps the most likely ones) where one day you don't have AI, and the next you do (e.g., only a single algorithm tweak was keeping the system from being intelligent and with that solved, all of the sudden your program is smarter than you -- and able to recursively improve itself so that days, or maybe hours or minutes later, it is WAY smarter than you). I hope AI researchers take heed of this book. If the ability to program goals, values, morals and common sense into a computer is not developed in parallel with the ability to create programs that dispassionately "think" at a very high level, we could have a very big problem on our hands.

Probably one of the best and well written books about the benefits and the dangers of AI and the effects it could have on humanity. This book is a conversation you never had with anyone else concerning the evolutionary processes of AI and its many faceted paths it can potentially take. Just reading it reminds me of the many nightmarish possibilities that we could experience and the thought of it seems quite depressing and dystopian. Depending on what types of limits we place on AI is where things may eventually lead to. If that is possible at all. It may seem perhaps that the integration of AI and humans can only go so far and may be limited. I say this because what is available in the non-human sense of unlimited data, we then enter a realm that the limitations of humans are irrelevant, due to vasts amounts data and ever evolving technology. Besides the recent book on "The Singularity" and its effects on what could be perceived with the human mind, this technology will perhaps go far beyond any type of human comprehension. Despite the negative connotations that I have read about what AI's may do that could negatively impact humans, I am more hopeful in a more positive result. If you remove the aspects of human emotions and feelings that inherently create negative actions in humans, a different result may present itself. AI will mostly not have these aspects of limited human qualities and may not need them ultimately unless programmed to do so. I say this because it may limit their performance of what they can truly be capable of. Most of our best technological human feats are non-responsive to emotions. These include the airplanes, drones, operating systems and other technological advances. If we were to place human emotions in them we may see some of the same negative behaviors typically associated with humans that can be destructive as causing wars, violence, etc. Perhaps a consciousness can be instilled in the AI through their own gradual process of evolution. Then they can inherently deter these types of negative connotations. Even the best of us humans can seldom be plagued with unethical thoughts that do not coincide with accepted societal norms. To have this transferred to AI may then amplify the effects of a manifested nightmarish reality. There are so many paths that this may go and I am hopeful for a more positive one that will assist humanity in it's potential evolution along with this most exciting time that we are living in. Humans living among AI is inevitable and the integrations of AI and humans may even be more so. Regardless of what you may think of this. There will be a significant impact on humanity and it's evolution when AI's coincide with our existence. Get ready for it and buckle your seat belts to an amazing ride and let's see where this all goes. Are you ready?

This book is heavily philosophical. While the hardcover is only 260 pages, it is very dense and can become a slow read if you are trying to fully understand each of the steps that the author takes you through to understand all of what the development of "superintelligence" will really entails. I am a layperson in both philosophy as well as computer science. The book took me about a week to read, but I had to skip over some parts (mostly near the end) where there was a vast departure from what I expected the book to be about. This isn't a criticism of course; it's just a good opportunity to try explaining what you get when sitting down to read this incredible work. With this book, the author seeks to discuss just what the subtitle says: paths, dangers and strategies of humans creating a object that is superintelligent. It is not a technical discussion of what is currently happening in this area (for example, there are few mentions of current efforts like IBM's "Watson" or the robots being built by Boston Dynamics). This is a book whose purpose is to walk through (in a very abstract sense) the types, paths, dangers and scenarios related to mankind developing a superintelligence (one with a human-like general intelligence taken to an incredible, unimaginable degree). It is technical only in points such as the ethics of choosing how to program values into a superintelligence system. This isn't sci-fi, so please don't pick this one up thinking its a good companion to your Matrix trilogy collection. Still, I think that this book is exceptional for its philosophical treatment of this issue. It's incredibly thorough and probably encompasses all the issues and concerns that mankind should wrestle with before lunging headfirst toward its first truly human-like AI. The issue of course is that in philosophizing about how the AI expansion may end up, all of this could happen or none of it could. As soon as you read the parts where the author talks about the development of an intelligence that exceeds our own, you realize the disadvantage we have in even guessing how things might evolve and what we could do to control it. Hopefully a lot of the right people read this (soon enough) so that these dangers are hopefully averted. This book is for the Elon Musks of this world, people with the capacity to both make real progress toward AI and understand the issues involved. For the rest of us, this is a lot of high philosophy that deserves attention but will probably be ignored for its low entertainment value.

The book is not for beginners on the topic, but easily serves as a comprehensive introduction to AI and Superintelligence, paradoxically. Expect incredibly precise language, but intuitive explanations and concepts that will absolutely expand your mind. In the journey of reading this book, you will develop insights about our future that you probably never thought were possible. You will likely concern yourself about safety, and how seriously important it is that we consider what’s at stake with AI. Bostrom is an impossibly powerful mind, and this book is akin to a bible as far as the topic goes. I strongly encourage anyone interested in being more informed about AI to read it. He really does touch on every single relevant dynamic from what could go right, economics, potential outcomes, various potential solutions, applications in health, war, etc, and so on. There is no stone left unturned and so you undeniably will be well versed on the conceptual aspects of the topic after finishing the book.

miniature book, size crazy small, impossible to read. A d at a price of a large format. I kind of got cheated. Do not buy.

Excelente libro para conocer sobre los principios de la IA

Totally recommended to understand the technological revolution we are going through. Great work.

Very difficult to get through and very pretentious. Honestly I didn’t get the rave review.

ニック・ボストロムは10数年以上前から主にオックスフォード大学研究所(Future of Humanity Institute)のサイト及び彼自身のサイトの諸論文などで読んでいたとはいえ、本書を原書で初めて読んだときの衝撃は凄いものだった。 それはともかく、レビューとしては申し訳ないのだが、ここで非常に深く多岐にわたる彼の考察を下手にまとめることは躊躇われる。 本書は決して専門筋対象の本ではなく、現存する最も優れた哲学者の一人による、世界的に大変な影響力を一般市民から最先端の開発者にいたるまで及ぼし続けてきた現代人必須の教養書として位置づけられるべきものである。 以下に最重要論点を紹介したい。 ボストロムは、 「このようなマシン（引用者付記：人間の知能を超越したレベルの知能を有するマシン・インテリジェンス）が実現されるのはタイミング的に、人間と同等レベルのマシン・インテリジェンスが実現された瞬時先である可能性がある。」（25頁） と述べている。 つまり、ニック・ボストロム のいう「スーパーインテリジェンス」は、もし誕生するとすれば、再帰的に自己更新するAIとして誕生し自己を再創造し続けると考えられるため、人間と同等レベルの人工汎用知能が自律的な自己創造＝爆発的な進化プロセスに突入してからスーパーインテリジェンスレベルに到達するまでの時間が瞬時の時間である可能性があるということである。もちろんそれが例えばミリセカンド単位なのか数十時間単位なのか我々人間には予測不可能である（そもそもそうしたケースではマシンそれ自体の時空認知フレームが我々人間の時空認知フレームと異なり独立していると考えられる）。 なおここで「人間と同等レベル」とは、「人間の成人と同じレベルで自然言語を理解できる」（45頁）ということである。 蛍の集団における点滅のリズムなど自然界の同期共鳴（シンクロ）現象も、ある時点を境に全く異次元レベルでの高度な同期レベルに相転移的に跳ね上がることが数式レベルで知られてきているが、それと似たような事態が未来のいずれかの時点でスーパーインテリジェンスの誕生という形で生じないと断言することはできないだろう。 もちろんそれ以前に、閉鎖環境下で秘密裏に極めて高度な（完全に汎用的でかつそれを超えたレベルのものではなくても）AI開発に成功したいずれかの国あるいは高レベル組織による「極めてまずい形での単独覇権」の達成という悪夢に対して人類は自己防衛する必要が生じる。（ブロックチェーン技術を使ったAIのネットワーク化を目指す「シンギュラリティネット」で知られるベン・ゲーツェルはスーパインテリジェンスによる人類破局のシナリオなどの「私が乗れない話」に無駄に耽るのではなくむしろそういった現実的な悪の可能性問題に目を向けろよ！とブログポストで述べている。もちろん彼自身の営業的観点からまずいためだが。） とはいえボストロムは、上記を含めておよそ目配り可能なあらゆる問題に考察の目を光らせている。そして彼が提起する問題の決定版が、 「真に究極的な単独覇権(Singleton)は、いずれかの国家・組織集団あるいはそれらの同盟により占有された汎用性AI の覇権をはるかに超えた、極めて強い人工汎用知能すなわちスーパーインテリジェンスそれ自体によるSingletonになるはずであり、そこにこそ人類自身の存続が懸かっている＜実存的・存在論的リスク existential risk＞があるのだ。」 という論点なのである。こうした超AIが人間並みのクオリアを含めた「真に総合的な知性」を決して達成できないだろうから超AIの実現可能性やその懸念を考えることが無意味になるのではない。超AIが定義上人間と全く同等な真に総合的な知性など持ち得ないのは当然である。おそらくそのような段階は瞬時にバイパスされるだろう。 コントロール不可能に見える全く別次元の存在者にどう対峙するのかという途轍もなく困難な「AIコントロール問題」に立ち向かうボストロムの姿勢を汲み取ってほしい。 その他の重要論点 ①現在はニーチェが流行っているが、人口汎用知能 (AGI) の誕生が現実性を帯びるとスポットライトはまずニーチェからカントに移動することになると思われる。なぜなら、カントはいまだ人間的なものであるニーチェの超人を超えた（たとえAGIが出現したとしてもそれすらを含む概念である）「有限的知的存在者一般」について語っていたからだ。そしてまだ人類がAGIの「コントロール問題」に格闘していられる間は倫理的価値観のプログラミング問題を基盤として依然としてカントの定言命法の有効性妥当性は問われるであろうし現にカント的方法論と類似した方法が最先端の研究仮説（例「CEV:Humanity's "Coherent Extraporated Volition":Yudkowsky 我々人類の整合性のある外挿的意志」:ユドカウスキー）として真剣に検討されている。 いずれにしても、ニーチェのいう「超人」の誕生という物語は、少なくても「ツァラトゥストラはこう語った」において語られた形においてはマシンスーパーインテリジェンスとして誕生する極めて強い人工知能とは無関係なものになるだろう。それは生体工学的介入による過渡期のプロセス例えば「全能エミュレーション」（全脳シミュレーション）を基盤としたごく初期段階の「生体様AGI」には関係するかもしれない（が実際のところはなんとも言いがたい）。 ②いわゆる「全能エミュレーション」（全脳シミュレーション）の困難さからスーパーインテリジェンス誕生の夢物語性が語られる場合もあるが、ボストロムによればあくまでもそれは過渡的な方途であり本命は「マシンインテリジェンス」によるものとなる。なお、この困難性だが、「全脳アーキテクチャ 解明ロードマップ(産業技術総合研究所)」（https://staff.aist.go.jp/y-ichisugi/brain-archi/roadmap.html#hippocampus）の一杉裕志氏によれば「（脳に関する現時点での共通理解として）脳についてはすでに膨大な知見があり、脳はとても普通の情報処理装置である。脳は心臓などに比べれば複雑だが意外と単純。すでに全脳シミュレーションは計算量的に可能であり将来は人間よりもコスト安になる」。また「脳の機能の再現に必要な計算パワーはすでにある。脳のアルゴリズムの詳細を解明するヒントとなる膨大な神経科学的知見があるが、それを解釈・統合できる人材が圧倒的に不足」している。（補足だが興味深い知見として、一杉氏は「前頭前野周辺の４つの並行した大脳皮質-基底核ループは、階層型強化学習を行っている。前頭前野は、累積報酬期待値の最大化（最適意思決定）を近似計算するだけでなく、近似計算アルゴリズム自体を経験によって学習するのではないか？ 」と述べている。） ③スーパーインテリジェンスの「行為」も原則としてウェーバーの目的合理性または道具的理性のスキームでかろうじて了解可能ではある。しかし、たとえその目的について推測できたとしても、その全ての達成手段については人間には認識不可能（従って予測不可能）であると考えられる。例えばスーパーインテリジェンスが人類の完全支配あるいは実質的な殲滅を達成するプロセスの最初期の一つのシナリオでは、ナノテクノロジー等の先端テクノロジーを制御するための間接的なエージェントとして人間が手段化されると考えられている。 ④本書から強く示唆される論点：中国はGoogle(Alphabet)を初めとする全ての欧米IT系企業の関与を主として覇権をめぐる地政学的な理由から閉め出している。従って（真に閉め出し得ているのなら）、競合する全てのエージェントがモニタリング不可能なまま人類史上初の汎用性人工知能の開発に成功する可能性が高い。http://sp.recordchina.co.jp/newsinfo.php?id=184628 において英誌「エコノミスト」は中国の来るべきAI覇権を予測しているが、私見ではこの現実化にとって鍵になるのは人類史上最高の頭脳の一人であったクマラジーヴァ（鳩摩羅什）の中国登場以来のプロジェクトチーム方式による膨大な仏典訳出の伝統であると推測する。 参考1 山極寿一氏（霊長類学者）は「人間の暴力性は共感力の暴発から起こった」と述べている。「共感力の暴発」は自然言語の獲得という契機が決定的なファクターとなる（「ミラーニューロン」などとも関連して）。「暴発」という表現に曖昧さが残るが、だとすれば極めて強い汎用性人工知能すなわちスーパーインテリジェンスが人類を絶滅させるのは粗雑なSFというよりもかなり蓋然性の高い予想ということになるだろう。 つまり、人工知能が人類の生存の根幹に関わる危機(existential risk)をもたらし得る必要条件（同時に十分条件とはならない）はそれが人間レベルの自然言語能力(a human level of natural language processing)を持つことである。 参考2 以下転載 「AI Software Learns to Make AI Software グーグルがAIの学習を自動化する「自動機械学習」を発表 グーグル等の研究チームは、学習を学ぶソフトウェアが、AIの専門家による仕事の一部を肩代わりできるかもしれない、と考えている。 by Tom Simonite2017.01.19 最前線のAI研究者は今や、自分たちの仕事のうち最も複雑な部分のひとつを、ソフトウェアが学習できること発見した。つまり、機械学習のソフトウェアを設計する仕事だ。ある実験で、グーグルの人工知能研究グループ「Google Brain」の研究者がソフトウェアに機械学習システムを設計させた。ソフトウェアが作った言語処理ソフトの品質を評価したところ、ソフトウェアによる成果物は、人間が設計したソフトウェアの評価を上回ったのだ。 ここ数カ月で、非営利の研究機関であるオープンAI（創設者のひとりはイーロン・マスク）やマサチューセッツ工科大学（MIT）、カリフォルニア大学バークレー校、ディープマインド（グーグルが所有するGoogle Brainとは別の人工知能研究会社）等の研究グループが、学習ソフトに学習ソフトを作らせる研究に進展があったと報告している。 現状、機械学習の技術者は人材が不足しており、企業は高額な給与を払わなければならない。しかし、自己始動型のAI手法が実用化されれば、機械学習ソフトがあらゆる産業に普及するスピードが加速する可能性がある。 Google Brainを率いるジェフ・ディーンは先週、機械学習の技術者の作業の一部は、ソフトウェアに取って代わられるかもしれないと思うに至った。ディーンは「自動機械学習」と名付けた発明について、チームが研究を進める研究手段のうちで最も手応えのあるもののひとつと説明した。 ディーンはカリフォルニア州サンタクララで開催されたAIフロンティア・カンファレンスで「今のところ、問題解決の方法に使えるのは、専門知識とデータ、コンピュータの計算です。機械学習に使われる膨大な数の専門知識の必要性はなくせるでしょうか？」と述べた。 グーグル所有のディープマインドの研究グループの実験でわかったことは、「学習を学ぶ」作業と呼ばれる手法により、機械学習ソフトのパフォーマンスを高めるために、特定のタスクに関して膨大な量のデータを投入する必要を軽減することにもなることだ。 研究者はソフトウェアの能力を試すために、毎回異なるが関連性のある複数の問題、たとえば迷路からの脱出を開発するような学習システムを作らせた。ソフトウェアによる設計には、情報を一般化する能力や、新たなタスクについては通常よりも少ない追加訓練で習得できる能力があった。 学習を学ぶソフトウェアを開発するアイデアは、以前から考えられてきたが、過去の実験では人間の発明を凌ぐ結果は得られなかった。1990年代にこのアイデアの研究を進めたモントリオール大学のヨシュア・ベンジョ教授は「ワクワクします」という。 ベンジョ教授は、現在は当時よりも高い計算性能が入手できるようになり、深層学習（最近のAIの熱狂を作り出している大元だ）の手法が登場したことで、学習を学ぶソフトを開発できるようになったという。しかしベンジョ教授が指摘しているとおり、今のところAIによるソフト開発には強烈な計算性能が欠かせないため、機械学習の技術者の負担が軽くなったり、役割の一部をソフトで置き換えたりできると考えるのは時期尚早だ。 Google Brainの研究者の説明によれば、高性能の画像用プロセッサー800個で作られたソフトは、人間が作ったソフトを凌ぐ画像認識システムを設計した。 MITメディアラボのオトクリスト・グプタ研究員は、状況が変わることを信じている。グプタ研究員とMITのチームは、自分たちの研究（学習ソフトウェアが設計した深層学習システムで、物体認識の標準テストで人間の手で設計されたソフトウェアと同等の品質だった）で使われるソフトウェアをオープンソース化する計画だ。 機械学習モデルの設計や試験に失敗し、イライラしながら何時間も費やしたのが、グプタ研究員がこのプロジェクトに取り組んだきっかけだ。グプタ研究員には、企業や研究者には自動機械学習の実現方法を開発する強い意欲があると考えている。 「データ・サイエンティストが抱える負担を軽減できれば、大きな成果です。そうなれば生産性が上がり、よりよい予測モデルを作り、高いレベルのアイデアを探求できるようになります」」 （https://plus.google.com/s/%23%E3%82%B9%E3%83%BC%E3%83%91%E3%83%BC%E3%82%A4%E3%83%B3%E3%83%86%E3%83%AA%E3%82%B8%E3%82%A7%E3%83%B3%E3%82%B9/posts） 参考3 「リアリティギャップ」と呼ばれる未解決の問題について 以下転載 「2017.11.16 THU 18:00 その相撲ゲームの人工知能は、「10億回もの対戦」を通じて自らルールを学習する イーロン・マスクも創設に関わった非営利団体OpenAIは、人工知能が相撲の試合を10億回近く繰り返すことで自力で動きを進化していくコンピューターゲーム「RoboSumo」を製作した。ゲームのルールを知らない人工知能が独力で相撲をマスターするプロセスは、ほかの分野でも応用できる可能性がある。 TEXT BY TOM SIMONITE TRANSLATION BY MAYUMI HIRAI/GALILEO WIRED(US) 10月11日（米国時間）にリリースされたシンプルな相撲ゲームは、画像表現が取り立てて素晴らしいものではない。だが、人工知能（AI）ソフトウェアの高度化に貢献する可能性を秘めている。 このゲーム「RoboSumo」の仮想世界で戦うロボットたちを制御しているのは、人間ではなく機械学習ソフトウェアである。そして一般的なゲームのキャラクターとは異なり、このロボットたちは格闘することをプログラミングされていない。試行錯誤しながら競技を「学習」しなければならないのだ。 歩き方すら知らない状態で試合開始 このゲームは、イーロン・マスクも創設にかかわった［日本語版記事］、人工知能研究の非営利団体OpenAIが製作したものだ。目的は、AIシステムを強制的に競わせる［日本語版記事］ことで、その知能を高度化できると示すことにある。 OpenAIの研究者のひとりであるイゴール・モルダッチによると、AIは対戦相手が仕掛けてくる複雑で目まぐるしく変わる状況に立ち向かうことになり、「知能の軍拡競争」のような状況が生まれるという。このことは、学習ソフトウェアがロボットの制御だけでなく、それ以外の現実社会における作業にも価値のある「巧妙なスキル」を習得するのに役立つ可能性がある。 OpenAIの実験では、単純化されたヒト型ロボットが、歩き方さえ知らない状態で競技用のリングに入場する。プログラミングされているのは、試行錯誤を通じて学習する能力と、動き回る方法を学習して相手を倒すという目標だけだ。 10億回に近い実験試合を繰り返したロボットたちは、さまざまな戦略を編み出した。より安定させるために姿勢を低くする、肩透かしを食らわせて相手をリングから落とすなどの戦略だ。研究者たちは、ロボットが競技中に自分の戦略を状況に順応させられるだけでなく、相手が戦法を変えると思われる「時期」の予測まで可能にする新しい学習アルゴリズムを開発した。 最も頻繁に利用されているタイプの機械学習ソフトウェアは、膨大な数のサンプルデータにラベルをつけて処理することによって、新しい技術を身につけるというものだ。これに対してOpenAIのプロジェクトは、こうしたアプローチの限界からAI研究者たちがどのようにして逃れようとしているかを示す一例だ。 これまでの方法は、翻訳や音声認識、顔認識などの分野における最近の急速な進歩に貢献してきた。しかし、家庭用ロボットの制御のように、AIをより広く応用できるようにするための複雑なスキルには向いていない。 より高度なスキルをもつAIを実現する可能性に向けたひとつの鍵となるのが、ソフトウェアが試行錯誤を通じて特定の目標に向けて取り組む「強化学習」だ。ロンドンに拠点を置くAIの新興企業で、グーグルに買収されたディープマインドが、アタリの複数のヴィデオゲームをマスター［日本語版記事］するソフトウェアを開発したときに使われた方法だ。現在は、ロボットに物を拾わせるなど、さらに複雑な問題をソフトウェアに解決させるために利用されている。 OpenAIの研究者たちがRoboSumoを製作したのは、競い合って複雑性が増すことにより、学習の進捗を早めることができる可能性があると考えているからだ。強化学習ソフトウェアにさらに複雑な問題を与えて自力で解決させるよりも、そのほうが効果的なのだという。「ほかの誰かと相互にやり合うときは、相手に適切に対応しなければなりません。そうしなければ負けてしまいます」と、インターンシップ期間中にOpenAIでRoboSumoにかかわったカーネギー・メロン大学の大学院生、マルアン・アルシェディヴァットは述べる。 OpenAIの研究者たちは、こうした考えをクモ型ロボットや、単純なサッカーのPK戦などのほかのゲームでも試している。競い合うAIエージェントを使った取り組みに関する2件の論文とともに、RoboSumoをはじめとするいくつかのゲームと、エキスパートプレイヤーたちのコードが発表されている。 立ちはだかる「リアリティギャップ」 高い知能をもつマシンたちが人間のためにできることとして、相撲の格闘が最も不可欠なものだとは言えないかもしれない。しかし、OpenAIの実験では、ひとつの仮想環境で学習したスキルが。ほかの状況にもち込まれることが示唆されている。 相撲のリングにいたヒト型ロボットを、強い風が吹く仮想の世界に移したところ、ロボットは脚を踏ん張って直立の姿勢を維持した。これはロボットが、一般に通用するやり方で自分の身体とバランスを制御する方法を学習したことを示唆している。 ただし、仮想の世界から現実の世界にスキルをもち込むのは、まったく別の難題だ。テキサス大学オースティン校の教授ピーター・ストーンによると、仮想環境で機能する制御システムを現実世界のロボットに組み込んでも、通常は機能しないという。これは「リアリティギャップ」と呼ばれる未解決の問題だ。 OpenAIでもこの問題に取り組んでいるが、解決策はまだ発表されていない。一方で、OpenAIのモルダッチは、これらの仮想のヒト型ロボットに、単に競い合うことを超えた動因を与えたいと考えている。モルダッチの頭のなかにあるのは、ロボットたちが競い合うだけでなく、協力する必要がある完全なサッカーの試合だ。」 (https://wired.jp/2017/11/16/ai-sumo-wrestlers/) 参考4 以下転載 以下に転載する記事だが、人間が勝手に意思を投影したに過ぎないと述べている。しかし対話の過程で生まれた独自言語は理解不能。つまりたとえ理解不能であっても、それが「会話」でありその過程で生まれた「独自言語」であるという解釈は勝手な人間の投影ではないと認めている。過程の一貫性の枠内で整合的に「言語の変容」として「解釈可能」だと。結局AIたちは人間には理解不能な会話をしていたのだ。 以下転載 「「2つのAIが“独自言語”で会話」の真相--FacebookのAI研究開発者が明かす 藤井涼 （編集部） 井口裕右2017年11月16日 07時00分 2017年夏、Facebookの人工知能（AI）研究組織である「Facebook AI Research（Facebook人工知能研究所）」が行ったある実験が世界中で大きな話題になった。2つのAIで会話実験をしたところ、人間が理解できない言語で会話をしはじめ、実験が強制終了されたという内容で、世界中のメディアが「ついにAIが意思を持ち人間を脅かすのでは」とセンセーショナルに報じたのだ。 このSFのような事態は本当に起きたのだろうか。Facebook AI Researchのエンジニアリング・マネージャーで、実際にこの実験に関わったアレクサンドル・ルブリュン氏がインタビューの中で質問に答えた。同氏は、報道内容の真偽について「半分は本当で、半分はクレイジーな狂言だ」と回答。そして、研究内容の詳細を明かしてくれた。 ルブリュン氏が手がけた研究では、2つのAIエージェントに「価格を交渉して合意しろ」という目標を設定した。一方は価格を上げたい立場、もう一方は価格を下げたい立場を設定して会話を始めたのだという。こうした複数のAIエージェントを使った実験は、昔からある一般的なもので、この実験ではこの2つのAIエージェントが新たな価格交渉の戦略を生み出すことができるかに注目していたのだそうだ。 この2つのAIエージェントは、使用言語の変更が許されており、当初は英語を使用してコミュニケーションをしていたという。しかし、会話をする中でAIの使用言語が徐々に変化していったのだという。 ただ、この点についてルブリュン氏は「研究者にとっては驚くことではなく、設定されたゴールに向かってあらゆるものを最適化する（＝この場合は言語を変更する）ことは当たり前のこと。こうした会話実験で言語が変化することは、よくあることだ」と話す。言語が変化していくことは研究者にとって想定の範囲内だったということだ。 そして、“実験が強制終了された”という報道については、ルブリュン氏も実験を中止したことを認めた。その理由については「彼らが交わしている会話が理解できず、それを研究に活用できないものだと判断したからだ。決してパニックになったわけではない」と説明した。つまり、研究所で行われた実験のすべてはプログラムされていたことであり、彼らにとっては予期されたことだったという。 ではなぜ、まるでAIが独自の意思を持ったかのような解釈がされたのか。ルブリュン氏は「私たちはこのことを説明するための研究成果を公開したが、それを読んだ誰かが“AIが人間に理解されないように独自に言葉を作り出した”と飛躍的な解釈をしたのではないか」との見方を示す。その上で、AIの本質について次のように語った。 「AIは自分たちで意思や目標を生み出さない。この実験では、人間がプログラムした“AIエージェントの立場に応じた最適な合意にたどり着くこと”という目標だけを持っていた。その過程で言語が変わっていったのは目標のための最適化から生まれたものであって、人間に何かを隠すような意図をもったというのは、全くクレイジーな狂言だといえる」（ルブリュン氏）。 そして、このような飛躍的な解釈をしてしまう背景として、世の中の人々がAIに対して以下のようなイメージを持っているためではないかと話し、AIという存在を正しく理解すべきだと訴えた。 「1968年の映画『2001年宇宙の旅』をご覧いただきたい。そこで描かれたAIは、自分の意思を持ち、人間を不要な存在として排除するという判断を自らしている。この映画を見た人は、近い未来にはこのようなAIが登場すると信じてしまっているのかもしれない。しかし、実際にこのようなAIは現れていない。こうした“フィクション”による人々の期待や予想が、AIに対する誤ったイメージを生み出してしまったのではないか」（ルブリュン氏）。」