でかいチーズをベーグルする

でかいチーズはベーグルすべきです。

AAAI2015本会議

AAAI2015本会議。論文発表だけじゃなくていろんなセッションがあって単純に楽しいイベントだった。ロボットがそこらじゅうを動きまわってたり、ゲームAIの展示がたくさんあったり。一般人にも公開されてて、子どもたちがたくさんロボットを見に来てた。ロボットとかAIとかは成果がわかりやすいからこういうところから一般向けに公開していくと興味を持ってくれる人たちが増えそうでいいね。

さすがAIの学会で、トピックはホントに多岐にわたってて自分が全然知らない分野ばっかりだった。自分の発表はAI and the Webっていうセッションだったんだけど、そのセッション以外のところに行くともう完全に分野違いで全然わからない有り様だった(自分のカバーしてる分野が小さすぎるかも・・・)。

会議自体はいろいろ頑張っててすごく充実してたんだけど、論文発表は相変わらず分かりづらいというか発表にすらなってないものが多くてとても残念だった。例えばでかいポスターをそのままPDFにして(もちろん文字が小さすぎて全く読めない)ポインタも使わず延々としゃべり続ける人とか、なぜかマイク使わないでぼそぼそ喋って何も聞こえない人とか、発表時間過ぎてるのに話すのをやめない人とか。自分もわかりやすい発表ができたかは客観的には分からないので偉そうなことは言えないけど、口頭発表がもっと重視されるようになってほしいと改めて思った。

Artificial Intelligence, Machine Learning and Robotics: Interplay and Interaction - Drew Bagnell (CMU)

機械学習でロボットを動かすには2つ重要な事がある。

  • Speed
  • Imitation learning

Speedについてはまあそうだろうという感じで、ロボットが行動を決定する時にいちいち時間がかかってたら全くうまくいかない。アプローチとしてはboosting + very fast weak learnersを使うと良いよって言ってた。

Imitation learningというのは、人の動きを真似しつつ行動を学習するというやり方。レースゲームとか、ヘリコプターの動きのシュミレーションが例に挙げられてたんだけど、そういうのをAIで動かすにはsupervised learningだけじゃうまくいかない。なんでかというと、学習データには失敗した時にリカバーするような動きに関するデータが十分に入ってないから。なので、テストの時に今まで直面したことのないような失敗をしそうになっても、学習したポリシーからはリカバー出来ない。そこでImitation learningが重要になってきて、ロボットが失敗したところを人がインタラクティブに教えてやって、リカバーする方法を学習する。

アナロジーとして、「人が運転しているところを見てるだけじゃ車を運転できるようにならない」と言っていて、確かになと思った。運転がうまい人のを見てても "異常な" 状態にならないから、もしそういう状態になった時にどうすればいいか分からない。

  • Supervised learning is not good
    • problem is overfitting
    • can't recover with no such data

Deep Learning - Geoffrey Hinton (University of Toronto and Google)

1986年に何でback propagationがうまくいかなかったのか、なんで今Deep learningがうまく言っているのかについての話。

うまく行かなかった理由

  1. 教師データが少なすぎた
  2. 計算機が遅すぎた
  3. 初期値を適当に決めすぎた
  4. 間違ったnon-linearityを使ってた (logistic unit)

1と3について一番多く語ってた。要するに今のDeep learningではunlabeled dataをうまく使って初期値を決めることができてるのが大きい。教師データを使ってfine tuningする前に一層ずつ重ねていくところのこと。現実世界でもそうだけど、ラベル付きデータの数なんかよりもパラメータの数のほうが超超超多いんだから、ラベルなしデータを上手く使わなきゃいけないよねと言っていた。あと、ラベルなんかよりもラベルなし "データ" 自体の方がたくさん情報を含んでるよとかなり強調してた。

4はlogistic unitよりもlectified unitみたいなすごい単純なunitを使ったほうがいいよねってこと。

その後はRNNを使うと機械翻訳の精度がものすごい上がったよって話をしてたけど、あんまりついていけなかった。

Do Competitions help to advance AI? - Panel discussion

AIの分野ではいろんなコンペがやられてるんだけど、それでホントに研究が進むか?っていう議論。

良い点

  • TheoryからPracticeに変換できる
  • Empirical dataがたくさん手に入る
  • いろんなアプローチを比較できる
  • コミュニティ一体となって、ある問題に取り組める

問題点

  • ただの開発になってないか?
  • 単にコンペに勝つ以上の知見を得られるのか?

こうしたらいいよねっていう提案

  • Long-term goalを設定する
    • 短期的な始点で勝つことが難しくなるからみんな本質に取り組むようになる
  • Shortcutとかsimplificationを禁止する
    • ただ勝つことを目的とするのを防げる
  • open for new teams
    • いろんなチームが参加しないと新しい知見が生まれづらい
  • 同じやり方に固執しない
    • 一度うまく行ったやり方をみんなで真似しててもパフォーマンスが高いものは作れるけど新しい知見が生まれない

その他

論文発表、チュートリアル、キーノート以外にもいろんなイベントがあって楽しかった。

What's hot talk

いろんな他の学会(CVPRとかKDDとかホントに色々)ではどういうトピックがhotなのかをまとめて参加者に教えてくれるセッション。詳細は全くわからないけどどういう論文があるとか、何が出来るようになってるとかのインデックスを張るのにはいいなと思った。

Poster and demo session

他の国際会議と形式は同じだけど、さすがAIの会議、デモが面白かった。Angry birdのAIとか、最近話題になったテキサス・ホールデムのAIとかほんとに色々あって単純に楽しかった。

Video competition

ロボットとか、AIとか、作ったもののビデオを作ってそれの出来(?)を競うというセッション。ちょっと前に話題になったマリオAIがなんかの賞を受賞してた。成果をこういうふうに誰にでもわかりやすくまとめるってのはすごく重要だなと思った。マリオのAIなんかは一般の人にも多分わかりやすくて、こういうのを見てもらえば研究の世界でどういうことが起こってるかを知ってもらえそうだなと思った。

Games night

夜8時から10時くらいまで参加したい人だけ集まってクイズとかパズルとかいろんなゲームをした。景品たくさんあり。最初はゲームに勝ったら景品が貰えてたのに、景品の数が多すぎて最後は全員取り放題になってて笑った。ちなみに結構参加者いたのに名前呼ばれて壇上でクイズに答えさせられたりした。