researcherFile2018杉山 麿人

Researcher file no.2

「情報幾何」で深層学習の謎を解く
新しい機械学習手法を創り出す

杉山 麿人

情報学プリンシプル研究系 准教授

今、AIの手法として熱い注目を集める深層学習。
しかし、深層学習によってなぜ複雑な認識ができるようになるのか、その学習構造には謎が多い。
杉山は日本発祥の情報幾何を用いてその学習構造を明らかにし、さらには新しい機械学習の手法を見いだそうとしている。

2018_sugiyama_01.jpg

情報を統計的な確率分布として表す情報幾何との出合い

2017年4月に大阪大学からNIIに移籍してきた杉山麿人は、ゲーム機「ファミコン(ファミリーコンピュータ)」と同い年だ。ファミコン全盛期に育った杉山は、もちろんゲームが好きだったし、父が操るパソコンの画面を後ろからのぞいたりもしていたという。「情報学に進んだのはごく自然な感じで、あまり悩んだ記憶はありません」。大学4年生の時に機械学習の研究室に入り、「研究者も面白そうだな」と思い、博士課程へ。博士研究員(ポスドク)として赴任したドイツのマックスプランク研究所でも機械学習の研究を行い、助教として戻ってきた大阪大学で、甘利俊一博士(当時、東京大学工学部教授)が1980年代に提唱した「情報幾何」が自分の研究分野と関連が深いことに気づいた。情報交換をしていた津田宏治 東京大学教授が、論文などを紹介してくれたのだ。「論文を読んで興味がわき、真面目に研究してみようと思いました」

情報幾何では、情報を統計的な確率分布として表す。確率分布がたくさん集まっている空間に適切な構造を導入すると、確率分布どうしの関係性、つまり情報の間の幾何学的な関係性が明らかになる。例えば、分布と分布の間がどれくらい離れているかなどが分かる。そして学習は、ある確率分布から別の確率分布に動くことを意味している。移動することが学習に対応しているのだ。「ですから、学習の前後で確率分布がどう変わったかを調べれば、学習の構造が分かるのではと...」。情報を幾何で扱うという直感的に明快な手法で、杉山が解明しようとしているのは、今話題の機械学習法「深層学習(ディープラーニング)」の学習構造だ。

2018_sugiyama_02.jpg

深層学習の学習構造をホワイトボックスに機械学習のスピードアップも

深層学習は脳の情報処理をモデルにしている。脳では神経細胞が多層構造を形成しており、いろいろなネットワークをつくって情報を並列に処理している。このような情報処理を実現しようという動きは昔からあり、1970年代には入力層・処理層・出力層の3層からなるニューラルネットがかなりの成果をあげていたが、近年、コンピューターの発達により複数の処理層を用意できるようになって、その認識能力が劇的に向上した。

韓国のイ・セドル九段に勝利した囲碁のAI(人工知能)「AlphaGo(アルファ碁)」も深層学習を使っている。しかし、どのように学習しているかという学習構造には謎が多い。いくら優秀でも中身がブラックボックスでは、例えば自動運転などでは安全を保証する上での大きな問題となる。杉山は、ニューラルネットの構造をいろいろと変えてみて、確率分布がどのように動き、どのような構造が学習の何を担っているかを明らかにしたいと考えている。

新しい機械学習の手法を見いだすことも試みている。情報幾何を使えば、最短で目的とする分布に到達できる道筋が分かるので、機械学習法のスピードアップを図ることが考えられる。また、相互作用をしている複雑な情報群の中から、ある現象を生じるのに最も効くものは何かという特徴選択を情報幾何によって解明し、迅速で効果的な学習法を編み出したいと思っている。

情報幾何によって機械学習に何がもたらされるのだろうか、どんなAIの未来がつくられるのだろうか、その成果に期待がかかる。

2018_sugiyama_03.jpg

関連リンク

杉山 麿人 - 情報学プリンシプル研究系 - 研究者紹介

Recommend

さらにみる