「こんな感しね ? 」 / ジたレ コ eo— 0 ー 0 「そうです、そうです。それて入力部分にこれまて通り、特徴量を入れ ます。美しさの話てあれは、年齢やお肌の張り具合とかっていうやっ てすね」 「それで同しニューラルネットワークを逆さまにつけているけど、反対 側の入力にあたるところにはどうしたらいいの ? 」 「入力と同しものが出るようにします」 「あ、いつものようにレバーを動かして、入力と同しものが出てくるよ うに調整するのね。でもそれしゃあ入力したものが変わらす出てきて、 何も変わらないんだから意味ないんしゃない ? 」 7 ー 1 この世の全てを知った鏡 1 75

0 0 0 00 00 0 0 0 「ええ、でもそれはそんなに難しくないですよね。やり方も同しですし、 しかもそんなに大きく違うデータがくると思いますか ? 」 「あ、そうか。同し特徴量を使って、同し美しさという出力を、いろん な人間で見るんだから、多少違っても似たり寄ったりか」 「そういうことてす。もちろん新しくきたデータが人間しゃなくて、犬 とか猫とかの特徴量を入力するっていうなら話は別ですけど、同し入 力と出力に注目したデータで、そんな変動があるんだったら、そもそ もそれは法則性が見当たらないですよね ? そういう場合は難しいの でできません」 「しゃあレバーの微調整はすく終わる ? 」 「ええ、わりとすく終わりますよ。しかもオンライン学習のいいところは、 次から次へと異なるデータがきますから、汎化性能がよくなる傾向が あります」 「確かに、毎囘テストをやっているようなものだもんね」 「そういうことてす。バッチ学習はデータが全て用意されるのを待たな ければならないですし、結構しれったいこともあります」 「でもさ、せつかくならちゃんとデータをとってからやる方が正しい気 もするんだけど」 4 ゐ「気持ちはわかります。でもですね。バッチ学習の場合は、やつはりレバー が重たくなります」 「なんで ? 勾配消失問題 ? 」 86 第 4 章深層学習に挑戦

「途中のニューラルネットワークては、 1 層目の入力そのものではなく、 手前のニューラルネットワークてグシャっと変形させたものを入力さ せるという違いたけて、同しように自己符号化を実行します」 オリジたレ r-—コ 中間層ドはそれ 形された入力と入れるのろ冒 イはびたすら同じこヒと 繰りせは 0k2 ・す 「あ、なんだか制限ありボルツマン機械の時と同しね ! 」 「その通り ! 基本はあの制限ありボルツマン機械でやったことと同し なんです。この自己符号化を多層ニューラルネットワークで行うとき に、ちょっと入力をすらしたり、揺らしたり変動させると制限ありポ ルツマン機械を利用した時と同様の結果になることが知られています」 「入力をすらしたり、揺らしちゃうってことは、なんか変なものを入れ ているっていうこと ? 」 ー 1 この世の全てを知った鏡 1 79 7

「それで、そのスイッチがオンになると、顔が出るように、画像を出す 部分に顔の色を各ピクセルに出すようにしてもらう。それをピクセル とピクセルの関係ではなく、スイッチとピクセルの関係に押し込める」 「隣同士のピクセルが同し色になるのと同しように、スイッチが入った ら何かしらの色を出すようにするっていうことですね」 「できる ? 」 「できますよ。スイッチとピクセルの関係をうまく調節するんてす」 「難しい ? 」 「めっちゃ簡単です。これは速攻でできます」 「そうよね。 2 つのピクセルの間の関係しか使っていない時と、基本的 には同しだもんね」 「スイッチとピクセルという 2 つの間の関係てすからね。てもそのスイツ チはピクセルてはなく、役割が違うと。画像として見えるわけてはな いっていうことですね ? 」 「そう。そういう都合のよいことはダメ ? 」 「できますよ。それが隠れ変数という最近のアイデアの中核ですよ」 「隠れ変数 ? ? 」 0 0 00 00 0 0 00 6 ー 3 もっと複雑な特徴を捉える ? 1 49

「そうです。一瞬て仮のデータを作ることができますからね。これを使う ことで割と現実的な方法になったんですよね、ポルツマン機械学習って」 「それで尤度が高くなっていくように、レバーを動かせばいいのね。よー 0 「まあそうです。それに比べて、ちょっと前のお妃さまの画像データを 「このパラメータが、最近の私のお肌の様子を表す数値ともいえるわけね」 「いい調子です。大体こんなもんてしよう」 使ってみましよう」 「また同しことをやればいいのね ? 手伝いさんたちに頼むわ」 ちょっと待って指令書に書いてお 「いい心がけです。アルゴリズムさえ決まってしまえは、誰がやっても タを比較したら・・・」 「よーし ! これでさっき得られたパラメータと、今度出てくるパラメー 同しですからね」 142 第 6 章美しく見せる鏡

0 0 0 0 0000 「訓練データは学習に使って、テストデータでうまく予測できているの かを調べるのね」 「そうです。テストデータにするグループを変えながら 4 回ともに同し ことを繰り返します。結構大変です。それで 4 回ともうまく予測でき ているかどうかを調べるというわけてす。もちろんもっと細かく分割 してもいいですよ」 「それでテストデータをうまく予測できていなかったら、ダメっていう ことでしよう ? 」 「そうてす。入力したデータにそもそも美しさに関する法則性が潜んで いなかったらうまくいきません。使ったモデルが全然ダメダメだった らそれもまた失敗の原因です」 「データをまた取ってくるのは面倒ね。しゃあモデルを変えてみましょ 「え、本気ですか ? 」 「モデルを変えるなんて、関数を変えるだけでしよう ? ズレを小さく するというのは同しでしよう ? 」 (G) 「まあそうですけど」 54 第 3 章最適化問題に挑戦

特徴量を組み合わせて、目的の出力となるように、さまざまな重みをかけて 足しあげる。そんな単純なものではなく、特徴量の組み合わせから、さらに 新しい特徴量を次々と生み出して、それを目的の出力に合わせるという多層 ニューラルネットワーク。 一見どんな関数も表現できそうで万能な解決方法が登場した ! と思いきや、 どうやらそこには難しさが色々とあるようです。しかし、その難しさが今や解 消できるようになったといいます。一体どんな方法なのでしようか ? レバーが動かない ? 0 「しゃあ多層ニューラルネットワークを利用して、美しさを求めてみま しよう」 「やることはひたすらレバーを上げ下げして、最適化問題を解く ! つ まりズレを小さくすればいいのよね ? 」 「そうてす。とにかく誤差関数を最小化すること。やること自体は全く 一緒で指令書も同しです。アルゴリズムは全く同してす」 「しゃあ簡単しゃない ? 私も手伝うわ。ん ! ん一 70 第 4 章深層学習に挑戦

2x 年齢十 3 メ目のタ , 合。、 年諦十 2x 目の度合い 5x 年齢十 5x 目の引合い 0 = を 十 ) 3x 3 ー 3 新しい特徴量を作り出す 59 「怖そうなことを言うわね ? どうやってやるのよ」 「グシャグシャに変形します」 「それしゃあ何をするのよ ! ! 」 同してす」 「割り鱆も引き鱆も、かけ鱆と足し算の逆のことをやるたけですから、 か ? 」 「しゃあかけ、足し篁以外をやればいいのね ? 割り篁とか引き算と こういうのを線形性といいます」 せんけい 算と足し算だけて表現できるのて、難しくなりようがないんてすよ。 「そうなんてす。かけ鱆と足し算を何度やっても、結局一度きりのかけ いを 5 倍して足し算すれば同しことになる」 「あれ ? 全部重みが 5 になった。年齢を 5 倍して、目のばっちり度合

「なるほどね。しゃあちょっとやってみましよう」 「例のごとくレバーを用意しておきました。そのレバーは同し色が出て くる傾向の強さを表すバラメータです。他のレバーは、 1 つ 1 つ小さ なピクセルに何色が出やすいかという傾向を表したものです」 「これ全部を動かして、ズレがなくなるようにすればいいわけね ? 」 「そうですね。このポルツマン機械学習の場合は、尤度というのを使い ます」 。ミ「え、なに ? 」 「ゆうど、です。もっともらしさという意味です」 「もっともらしさ、だから大きい方がもっともらしくて良いっていうこ とね ? 」 「そうてす。ズレを小さくするという意味と同しように、実際にもって いるデータに対して、自分で作ったモデルから出てくる仮のデータが 近いかどうか、もっともらしいものになっているかどうかを探ります」 「自分で作ったモデルというのは、なんとなくわかるけど、その仮のデー タって何 ? 」 「ああ、いい質問ですね ! そうなんですよ。ボルツマン機械学習ては、 自分てデータをポンポンポンと仮に作り出してみるんですよ。サンプ リングっていいます」 「ふーん。この前の美人度合いを測るとか、収穫ができているかどうか とかだったら、そんなことしなかったのに」 6 ー 2 ボルツマン機槭学習による画像処理 1 33

「データと、今こで計篁している美しさを合わせればいいのはわかる んだけど、どれくらいうまく合ってるのかわからない・・・」 「そうてすね、データとモデルの出力がどれだけすれているかを調べる 誤差関数というのを用意しましよう」 「誤差関数 ? 」 「平たく言うと、データとモデルの出力の間のズレを示す指標てす。 の誤差関数をできるたけ小さくするというのが目標になるわけです。 今の場合は、データとモデルの出力の間で引き算をして、その結果の 2 乗をとって和をとりましよう。 2 乗和てすね」 、し一 . ュ . シ′レ ^ ーン 26 48 デ L タ 2 3 ク モデソし 午 3 32 でし 一二呉塗門歌 = 「この上付きの小さい 2 っていう数値は 2 乗っていう意味ね。同しもの 同士を掛け篁するわけね。なんで 2 乗をとるの ? 」 「ズレはプラスにすれてもマイナスにすれても、ズレはズレですよね」 「確かにそうね。どっちにすれても同しことだからっていうことね。 2 乗するとプラスはプラスのまま、マイナスは 2 囘かけるとプラスにな るっていうもんね」 亠 = 0 2 ー 3 美しさを表す関数 33