12月5日から12月10日まで、スペイン・バルセロナで開催された学会「Neural Information Processing Systems (NIPS)」に参加してきました。人工知能技術が世界中で注目されていることもあり、非常に多くの企業や学生が参加していたのが印象的でした。
こちらはNIPSの会場周辺の様子。ホテルが立ち並んでおり、夏は近くのビーチに多くの観光客が訪れるようです。
続いて、NIPS会場の様子。
この他にもいくつか発表会場があったのですが、非常に多くの方がこの学会に参加していることが想像できますよね。Main Conferenceへの参加チケットは完売するほど大盛況だったようです。
会場のエントランス付近には、軽食をとりながらディスカッションができるスペースが設けてあり、とてもにぎやかな雰囲気でした。
今回、Convolutional Neural Networkを考案したDeep Learningの第一人者とも言える、Yan Le Cun氏の講演を聞くことができました。
講演では、AIの実現に必要な技術について述べられました。
具体的には、AI実現には知覚、予測モデル、記憶、理由付け、計画立てを行う能力が必要となり、そのためには大量の “教師無し学習” と “予測学習” が必要だということでした。
例えば先を予測するのであれば、物理現象を予測し、その様子を生成することができるPhysNetのような技術があります。
下の写真では、CNNがキューブの物理的な振る舞いを生成しています。シミュレーション(上)と比較しても、CNNが生成したキューブの崩れる様子(下)は物理現象を的確に表現していることがわかります。
また、記憶可能なニューラルネットワークとして、Memory NetworkNIPS[1]やStack-Augmented Recurrent Nets[2]について述べられました。
メモリーを持つネットワークでは物事の対応関係を保存、使用することができます。そのため下の写真のような受け答えが可能となります。
最後に、潜在的なデータの関係性を認識するモデルとして、GAN(Generative Adversarial Network)[3]が取り上げられました。
Le Cun氏自身が2016年に発表したGANは、Energy Based GAN[4]と呼ばれるもので、近年Good Fellow氏が発表したGANをより改良したアルゴリズムになります。これは従来のGANアーキテクチャにあるDiscriminatorを、巧みに設計されたエネルギー誤差関数に置き換えて、データが形成する多様体を低エネルギー側に押し下げ、生成モデルに由来するデータを高エネルギー側に持ち上げる仕組みで、Hinton氏のContrastive Divergence法[5]の原理の変種とも言えます。
講演後、聴講者に囲まれているLu Can氏
また、スタンフォード大学で教鞭を執られているAndrew Ng氏の講演も聞くことができました。
Andrew氏は、企業が行うプロジェクトにおいて機械学習を使う際に課題となるポイントや、AIプロダクトマネジメントについての講演でした。
以下、講演からの抜粋です。
“現状AIで可能なことを把握しておくしておく必要がありますが、これには経験則があります。まず一般的な人間が1秒かそこらで行う事ができるような知的タスクは、現在もしくは近い将来AIを使って自動化することができる可能性があります。
また、定期的に観測できる事象(ユーザが広告をクリックしたどうか)については、その予測を行おうとすることは合理的な判断です。プロダクトマネージャの責任は、同様の生成分布から作られたバリデーションデータとテストデータセットを用意することと、結果の評価基準(二乗誤差? F1-score?)を明確にすることです。
AI技術者の責任は、学習データを取得することと、与えられたバリデーションデータとテストデータ、評価基準において高い精度が得られるシステムを構築することです。”
*Andrew NG Nips2016 Nuts and Bolts of building AI applications using Deep Learning
さらに、Bengio氏の講演では、“Beyond Backpropagation” という題目で、Equilibrium Propagationという最適化手法について語られました。
ボルツマンマシンのようなEnergy BasedモデルをBack Propagationによって学習できないかという論文なのでしょうか？ LeCun氏もEnergy Basedモデルについて話されていましたね。
ポスター発表にもたくさんの人が訪れ、非常に議論が盛り上がっていました。
どんな質問をしてもすぐに回答してくれます。
やはりDeep Mind社はポスターもオーラルもたくさん発表がありました。
今回NIPSに初めて参加し、人工知能に対する注目度の高さを再認識しました。と同時に、人工知能を用いて実社会の問題を解決するような発表は少なかったように思います。現在GRIDが取り組んでいる分野に、改めて可能性を感じました。
普段論文で名前を見るような方々のお話を聞くことができ、非常に刺激を受け、いい経験になりました。
この経験を活かし、来年のNIPSには、発表者として参加したいと思っています！
■References
[1] Jason Weston, Sumit Chopra, Antoine Bordes, Memory Networks, 2015, ICLR[2] Junbo Zhao, Michael Mathieu, Yann LeCun, Inferring Algorithmic Patterns with Stack-Augmented Recurrent Nets,
[3] Goodfellow, Ian, Pouget-Abadie, Jean, Mirza, Mehdi, Xu, Bing, Warde-Farley, David, Ozair, Sherjil, Courville, Aaron, and Bengio, Yoshua. Generative adversarial nets. In Advances in Neural Information Processing
[4] Junbo Zhao, Michael Mathieu, Yann LeCun, Energy-based Generative Adversarial Network,
[5] G. E. Hinton. Training products of experts by minimizing contrastive divergence. Neural Computation, 14(8):1771–1800, Aug. 2002.
Systems, pp. 2672–2680, 2014.
