TensorflowでDCGANを実装した

前回でMLPでのGANの実装が大体できたので、次はDCGANを実装に挑戦する。
DCGANのDCは Deep Convolution のDCだから畳み込み層を追加してパワーアップした感じのGANなんだろかというのが論文を読む前のイメージだったりする。

コードはここ

github.com

いつも通り先に論文を読んだ

[1511.06434] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

前回読んだ論文で提案されたGANでは学習が不安定だったり、生成物にノイズがあったり、キメラみたいな意味的に、視覚的に理解が難しいものが生成されることがあると書いてあった。その後LAPGANというGANを拡張したものも出たがそれでもノイズなどは残ったらしい

DCGANではそのような学習の不安定さを低減するようにしたり、より精密なものを生成できるように改善されたGANのアーキテクチャと書いてある。すごいやん・・・。変更点としては生成モデルと識別モデルのネットワーク構造にCNNを用いるのと、3つのアプローチを採用するとある

  1. CNNといっても、Max Pooling とかを無くし、畳み込み層オンリーのネットワーク all convolution net というものを採用する。モデル自体が独自に空間ダウンサンプリング、アップサンプリングできるようにするためとか何とか。

  2. 分類問題においてのCNNでは畳み込み層のあと、それを平坦化(flatten)して全結合層に渡してクラス数に対応する出力を得るといったものが多い。Alexnetは何層もの畳み込みと最大プーリングのあと、全結合層が3層くらい続いている。DCGANでのCNNはこういった畳み込みの後の全結合層を生成器と識別器の両ネットワークにおいて排除する
    生成器では最後の畳み込み層で入力と同じ画像サイズ、チャンネルのものを返して、識別器では最後の畳み込み層の値を平均プーリングを適用して(バッチ数、クラス数)といった形の出力を返すようにする感じで合ってるはず

  3. 学習の不安定さの改善策として、両モデルの中間層にバッチ正規化(Batch Normalization)を適用する。それと生成器では出力層以外の層での活性化関数をRelu関数を、出力層はtanh関数([-1,1]の値を返す)を用いる。識別器には出力層にはシグモイド関数を、出力層以外にはLeakyRelu関数を用いる。まだLeakyReluについては知見はないけどこの関数のハイパーパラメータとしてalpha=0.2がいいらしい

変更点の次に実際のネットワーク構造は次のような図が論文に載ってあった
f:id:Owatank:20180514174053p:plain

相変わらず生成器の入力は100次元で一様分布から取ってくるっぽい。畳み込みの後の全結合層がダメだから、その前の全結合層はいいのかな。100次元の入力を全結合層に渡して 4*4*1024 の次元にする感じか。
よくチュートリアルとかで見る畳み込みは上の図で言えば右にいくにつれて四角が小さくなっていくけど、これは逆で四角が大きくなっていく。アップサンプリングってそういうことらしい。誤ってデコンボリューションと呼ばれると論文に書いてあった。

試したいデータセットがMNISTの手書き数字 28*28の1チャンネルの画像なので上の図のまんま適用ができない。困った。
上の図と似た次のようなネットワークを自分で考えて最初試すことにする。

f:id:Owatank:20180514175000j:plain

すごく・・・アナログです・・・

前回でのGANで5の手書き数字のみを訓練データとして渡して学習したところ、精一杯学習させてできたものは次のものが限界だった
f:id:Owatank:20180515123324p:plain

エポック数としては1エポック6000枚程度で3000エポックほど回した。2000エポックほどでは左のようにすごくぼやけた感じのものしかできていなかった。後心なしか生成できるものが同じ形状の5ばっかだった。

DCGANだし畳み込みを導入して前よりパワフルなはずだし、手書き数字5だけじゃなくて形状が似てる手書き数字3も訓練データとして渡してみよ〜^^と考えて入力のノイズを一様分布の [-1,1] の 100次元から取ってきて、約11000枚ほどのデータで100エポックほど回したところ

f:id:Owatank:20180515123739p:plain

こんなものしかできなかった。なんだこれは・・・
学習係数を変えてみたり、ネットワーク自体のパラメータを変更したりしてみたけど、大体上と同じ結果しか生成されなかった
背景が黒だから学習自体は似せるように学習しているとは思うんだけど

原因として考えられそうな仮説をいくつか考えて、試行錯誤しつつ検証していって何とか期待できる生成物が得られた。

f:id:Owatank:20180515131941g:plain

次のような変更をした

  • ネットワークは 4*4*256 -> 7*7*128 -> 14*14*64 -> 28*28*1 とユニット数を少なくした

  • 入力の次元数を手書き数字の5と3といった一部のみを渡すときには 100次元ではなく50次元と次元数を削減すること

  • 識別器のネットワークにはバッチ正規化層を適用しないこと、また最後の出力層に全結合層を用いること

  • 重み減衰を両モデルのパラメータに適用すること

2つめに関しては、MNISTの手書き数字0~9全体のおいて入力を100次元で [-1,1]の一様分布から取ってくるんだから、一部だったら次元数をその分少なくしたり、範囲を [-0.2,0.2]とか小さくした方が表現の幅として適切なのかなと考えた。結果的には範囲の制限より次元数の削減の方がかなり効いていた。

他もすごい効いた。ただ3つ目に関しては最初、識別器の出力を

h4 = tf.reduce_mean(
    tf.nn.avg_pool(
        h3, ksize=[1, 4, 4, 1], strides=[1, 1, 1, 1], padding='VALID'),
    axis=[3])

といった形で実装していたのだが、ミスってるのかな・・・と思い一旦全結合層で試してしまった。割とよかったのでそのまんまにした。

入力が次元数50で[-0.2,0.2]の範囲の一様分布から値をとってくるもので、重み減衰ありで手書き数字3と5を渡したときの結果

f:id:Owatank:20180515125310p:plain

希望が見えてきた

入力が次元数50で[-1,1]の範囲の一様分布から値をとってくるもので、重み減衰ありで手書き数字3と5を渡したときの結果

f:id:Owatank:20180515125355p:plain

こっちのが早く学習しているように見える。前回のGANと比べて生成物の表現の幅が広くて嬉しい

入力が次元数50で[-1,1]の範囲の一様分布から値で重み減衰なしだと
f:id:Owatank:20180515125924p:plain

50エポックまででこんな感じだった。有り無しで結構変わっている。

最後にMNISTの手書き数字の全訓練データ(約5万枚)を渡して学習させてみる
上と同じネットワークで入力が次元数50で[-1,1]の範囲の一様分布、重み減衰ありの結果
f:id:Owatank:20180515130735p:plain

上と同じネットワークで入力が次元数100で[-1,1]の範囲の一様分布、重み減衰ありの結果

f:id:Owatank:20180515131107p:plain

途中で学習が打ち切られてしまったのでエポック100まで回し損ねた
次元数100の方が次元数50の方より鮮明な感じがある。数字0〜9全体においては次元数は少し増やした方がいいのか

論文には一様分布から取ると書いてあったが、特に書いてなかったけど実際VAEみたいに正規分布から取ってくると精度が悪かったりするのか気になった

解決策を見つけた後にtensorflowのライブラリにtf.image.resize_imagesというメソッドがあることを知った。
これでMNISTの画像を 28*28から64*64にして論文通りネットワークを実装すればよかった・・・

GANの論文を読んだ自分なりの理解とTensorflowでのGANの実装メモ

タイトルのまんま

VAEの理解のために変分ベイズの方を優先したいが卒業がかかっているので先にGANの論文を読んだ
GANの論文って多いっぽいが以下のリンクのものを読み読みした

[1406.2661] Generative Adversarial Networks

これは自分の頭がお猿さんなせいもあると思うがハチャメチャ読みやすかった
Algorithm 1というパートのところは感動で涙が出た。な、なんてわかりやすい解説なんだ・・・・・

GAN(Generative Adversarial Nets)よろしく敵対学習は今自分が知りたいVAEと同じく生成モデリングのひとつ。VAEの論文を読んだときにもあったが既存の生成モデリングの手法は、MCMCといった計算時間がかなり掛かるものが依存関係として必要だったり、そもそも観測データの周辺分布の計算の積分が計算困難なことがあったりして困っていたっぽい(近似も困難だとか)
このGANはそういった計算の困難なところとかを回避した生成モデリングの手法。この手法ではモデルの学習中にMCMCが必要ないと書いてある。マジで?

そもなんでGenerative Adversarial Netsといった強そうな名前が付いたのか。論文での例を使うことにする。

本物に近い偽札を作りたい人がいたとする。偽札を作るモデルを生成モデル G (Generate)とする。
f:id:Owatank:20180417172250p:plain

その一方で、偽札の検出をしたい人がいる。本物か偽札かどうかを見分けるモデルを識別モデル D (Discriminative)とする

f:id:Owatank:20180417172641p:plain

GANではこの2つのモデルを同時に学習させて、生成モデルの作った偽札が識別モデルによる本物との識別が難しいくらいのものを作れるようにしていく。
偽札の例だと2つのモデルは作るものと見分けるもので反対のもの同士だからここら辺から敵対という名前が付いたといったことが書かれていた、、はず、、

どう学習するかというと生成モデルが本物と同じくらいの偽札を作るように、識別モデルが受け取った入力が本物か偽物か完璧に識別できるようにする、ある目的関数を設けてそれを最適化していく。具体的には確率勾配法を用いて最適化していく。

生成モデルと識別モデルの両方を多層パーセプトロンで構築すると、逆伝搬とドロップアウト、順伝搬から生成モデルによって得たサンプルの3つの要素を使うことでよりシンプルにそして同時に両モデルの学習が可能となると書いてある。天才か・・・

多層パーセプトロンを用いるのはわかったけどどういった枠組みなんじゃい。

生成モデル G は事前入力ノイズ変数 { \displaystyle P_{\boldsymbol{z}} (\boldsymbol{z}) } とパラメータ { \displaystyle \theta_g} をもつ。そして { \displaystyle  G(\boldsymbol{z} ; \theta_g) }はデータ空間へのマッピングを表すと書いてあったがマッピングがよくしっくりこなかった。生成モデル G が多層パーセプトロンによって表され、微分可能な関数となっている。このGが観測データ{ \displaystyle \boldsymbol{x} } (上の例で言えば本物のお札) に対するジェネレータの分布{ \displaystyle p_g }を推定するために必要なのだ。

2つめの多層パーセプトロンとして { \displaystyle  D(\boldsymbol{x} ; \theta_d) } を定義する。これは単一のスカラーを出力として返す。
関数 { \displaystyle  D(\boldsymbol{x}) }は入力{ \displaystyle \boldsymbol{x} }がジェネレータの分布{ \displaystyle p_g }から来ているのか、学習に用いているデータの分布から来ているのかを確率として表して、出力として返す。二値分類みたいなものの解釈でいいだろうか

識別モデル D は訓練データ(本物のお札データ)と生成モデル G からのサンプルの両データに対して正しいラベル(1は本物、0は偽物といったラベル)を割り当てる確率を最大にするように学習する。

そして生成モデル G は次の式が最小になるように学習する

{ \displaystyle  log(1-D(G(\boldsymbol{z})) ) }

偽札のラベルを 0 とすれば、上の式は log(1-0) で 0 が最小の値になるから、{ \displaystyle G(\boldsymbol{z}) }が作った偽物を{ \displaystyle D(G(\boldsymbol{z})) }がしっかり偽物と識別するように学習させろよってことだな

GとDを同時に学習させるのでこれらをまとめた値関数{ \displaystyle V(D,G) }を考えていく

{ \displaystyle  \min_{G}\max_{D} V(D,G) = \mathbb{E}_{\boldsymbol{x} \sim p_{data(\boldsymbol{x})}} \ {[}logD(\boldsymbol{x}){]} +  \mathbb{E}_{\boldsymbol{z} \sim p_{\boldsymbol{z}(\boldsymbol{z})}} \  {[}log(1-D(G(\boldsymbol{z}))){]} }

数式書くのクッソ疲れた。右辺の第1項は{ \displaystyle logD(\boldsymbol{x}) }だから本物のお札を入力として渡している。期待する値は{ \displaystyle logD(\boldsymbol{x}) }が最大になればいいのだから log(1) = 0 でその平均、期待値は0が望ましくて、第2項は上で述べたように { \displaystyle D(G(\boldsymbol{z})) = 0} が望ましい値であり結果としてその周りの期待値も 0 に近い方が良いで合ってるだろうか

お猿に優しい学習アルゴリズムの教育的な説明が書いてあった。次のように自分なりに理解した。
訓練データのサンプルから作られるデータ分布{ \displaystyle p_x } 、生成モデルGから作られるジェネレータ分布{ \displaystyle p_g } 、入力が本物か生成モデルから作られたものかを確率的に表す識別モデルDの3つが画像のようになっているとする。

f:id:Owatank:20180418103634p:plain

生成モデルGが本物に近いものを生成できるようにするということは上の図のデータ分布{ \displaystyle p_x }の形状とジェネレータ分布{ \displaystyle p_g }の形状が一致、もしくは限りなく近くなればいいのがわかる。そうするには上記の{ \displaystyle V(D,G) }を最適化しろと論文が述べている。

過適合の問題を避けるために、先に識別モデルDの更新を kステップ 行ってから、生成モデルGを更新後の識別モデルDを元に 1ステップ 更新すると書いてある。
Dはデータからサンプルを識別するように学習していく。具体的には次のように学習する。

{ \displaystyle  D^{\ast}(\boldsymbol{x}) = \frac{p_{data}(\boldsymbol{x})}{p_{data}(\boldsymbol{x})+p_{g}(\boldsymbol{x})} }

生成モデルGの更新が終わった後にまた識別モデルDの更新を行うが、そのときのDの勾配は入力が本物のデータとして分類されるような可能性が高い方に生成モデル{ \displaystyle G(\boldsymbol{z}) }を導くと書いてある。

識別モデルDを学習する(kステップ)
G の持つ事前入力ノイズ変数{ \displaystyle P_g(\boldsymbol{z}) }からm個のノイズをサンプリングする。これら{ { \displaystyle {\boldsymbol{z}}^{(1)} , ... , {\boldsymbol{z}}^{(m)}} }を元にm個の偽物を生成する。そして訓練データセット(データ分布)からm個の本物をサンプリングする。2つから次のようにDを確率勾配法を用いて更新する。

{ \displaystyle  \nabla_{\theta_{d}} \frac{1}{m} \sum_{i=1}^{m} {[}logD({\boldsymbol{x}}^{(i)}) + log(1-D(G({\boldsymbol{z}}^{(i)}))) {]}}

f:id:Owatank:20180418105655p:plain
{ \displaystyle p_x }{ \displaystyle p_g }が似ているところは識別が難しい=値が大きい(はっきりしている)ということ。真ん中あたりは形状が違うから値があやふやになっている感じ・・・なのか・・・?エントロピーみたいなもん?

このD(の勾配)を元に{ \displaystyle G(\boldsymbol{z}) }がデータ分布と類似するように学習させる。
上と同様にG の持つ事前入力ノイズ変数{ \displaystyle P_g(\boldsymbol{z}) }からm個のノイズをサンプリングする。これら{ { \displaystyle {\boldsymbol{z}}^{(1)} , ... , {\boldsymbol{z}}^{(m)}} }を元にm個の偽物を生成する。そしてその偽物たちから次のようにモデルGを確率勾配法より更新する。

{ \displaystyle  \nabla_{\theta_{g}} \frac{1}{m} \sum_{i=1}^{m} log(1-D(G({\boldsymbol{z}}^{(i)}))) }

f:id:Owatank:20180418110144p:plain

これで1エポックが終了か?これを何エポックか繰り返していくと
f:id:Owatank:20180418111411p:plain

{ \displaystyle p_x }={ \displaystyle p_g }となるくらいに類似することが可能なはず。このとき{ \displaystyle D(\boldsymbol{x})}は2つが似すぎていて入力がどちらのものか判断が難しい={ \displaystyle \frac{1}{2} }の値をとるということなんだな

2つの確率密度分布{ \displaystyle p_x }{ \displaystyle p_g }が類似していることを確かめる指標としてカルバックライブラダイバージェンスは使えないんだろうか?と思ったが、その後のアルゴリズムがちゃんと機能するかの裏付け?っぽい Theorem のパートで出てきていた。うーん証明難しい

損失関数の定義からアカン・・・めっちゃ自分でも作れそうなほどシンプルやんけ・・・と思ったのでTensorflowで実装してみた
ソースはここ

github.com

GeneratorとDiscrimitorの作成において、論文通りMLPで構築した。
ノイズ事前分布については正規分布のがいいのかと思ったが一様分布を用いている人が多かったのでそっちにした。
最適化の方法は Adam でいいかと思ったけど論文通りに Momentum で行った方が割とうまく行ったので論文のモデル設定に従った。

最初に損失関数を次のように定義していた

self.dis_loss_X = tf.log(self.discrimitor.run(self.input_X))
self.dis_loss_G = tf.log(self.label_t1 - self.discrimitor.run(self.generator.run(self.gen_z,self.is_train)))
self.dis_loss = -tf.reduce_mean(self.dis_loss_X + self.dis_loss_G) + dis_norm_term*dis_lambda_
self.gen_loss = tf.reduce_mean(tf.log(self.discrimitor.run(self.generator.run(self.gen_z,self.is_train))))

識別モデルの方は上で定義していた通りに実装したが、生成モデルは 1 - D(G(z)) じゃないやんと思うが、論文において

{ \displaystyle  log(D(G({\boldsymbol{z}}^{(i)}))) }


こっちのが収束がいいとか云々が少し書いてあった。
生成モデルで 1 - D(G(z)) を最小にするというのは生成したものが偽物とわかるようにパラメータを更新してねということになるから D(G(z)) のがいいよな・・・でもなぜかこれを最大化しろと書いてあって困ったがいう通りに従って-tf.reduce_mean()ではなくマイナスを取り去ったtf.reduce_mean()にした

そんなこんなでこれで学習を行ったところ損失がnanやinfになったりしてダメだった。そのせいか生成した画像は真っ暗なものしかできなかった。

損失関数は結局次の形で落ち着いた(後ろのnorm_termは重み減衰)

self.dis_entropy_X = tf.nn.sigmoid_cross_entropy_with_logits(labels=self.label_t1, logits=input_X)  
self.dis_entropy_G = tf.nn.sigmoid_cross_entropy_with_logits(labels=self.label_t0, logits=generated_X)   
self.dis_loss = tf.reduce_mean(self.dis_entropy_X + self.dis_entropy_G) + dis_norm_term*dis_lambda_
        
self.gen_entropy = tf.nn.sigmoid_cross_entropy_with_logits(labels=self.label_t,logits=generated_X)
self.gen_loss = tf.reduce_mean(self.gen_entropy) + gen_norm_term*gen_lambda_

クロスエントロピーを使った。生成モデルに関しては、正解ラベルを本物 = 1 のラベルを与える。
こうすることで識別モデルでは生成モデルのものを偽物と判断するように学習していって、生成モデルは識別モデルを騙せるくらいの本物に近いものを作れるように学習していけるのだ・・・

次に詰まったのは最適化を行う際のパラメータの指定だった
最初はminimizeの部分でvar_listの指定をしていなかった。しかしこれを指定しないと、生成モデルの最適化を行う際に生成モデルのパラメータの更新と一緒に識別モデルのパラメータを偽物を本物と識別するような誤った方向に更新してしまう

参考にしたもの
TensorFlowで特定の変数を指定して学習させる方法 - Qiita
TensorFlowで必要な変数を選択してsave/restoreする - Qiita

ようは識別モデルの更新には(生成モデルの推論結果を更新に用いるが)識別モデルのパラメータのみを、生成モデルの更新には(識別モデルの推論結果を更新に用いるが)生成モデルのパラメータのみを更新するようにしないと学習がうまくいかない(´・ω・)

両モデルのMLP構築におけるパラメータのユニット数や初期値にも苦労して何とか次のような結果が得られた
f:id:Owatank:20180420165454p:plain

これはMNISTのデータセットの中の手書き数字が 4 のみのデータで学習したもの
はっきりした形のものは得られなかったが、それっぽい形状が得られてるんじゃなかろうか
これはbatch_normをモデルの層に追加していないものでの学習結果だが、追加したものは収束がのんびりで、かなりのエポック数を回せばいい感じの形状が得られそうだと試して思った。

当たり前だがハイパーパラメータやユニットの初期値の設定がかなり大事何だろうか
GANのより良い学習方法については論文があるらしいので読んで改善したい

地味に損失の定義式で関数名と引数名が長すぎて途中で定義式をぶった切る形にしないといけなかったのがムズムズした

追記

世の中には Google Colaboratory という便利なものがあるそうでGPUを使って学習できるように改造した。
チェックポイントも作るようにした賢い

ソースはここ

10エポックほど回してみてCPUでの学習とどれくらい変わるのか計測して見た
f:id:Owatank:20180421170818p:plain

まあ・・・こんなもんすよ・・・

ベイズ推論の事後分布(離散)の更新について

前回の続き
VAEの理解に必要なベイズ学習について - 時給600円

パラメータの事前分布を自分で仮定して、観測データを元により適したパラメータを推定するのがベイズ学習といった話だった。
事前分布として固定値ではなく正規分布といった確率分布を与えてその時にちゃんとパラメータが学習されるのか確認する。

例としてある1枚のコインが存在して、そのコインで100回コイントスをする。
表が10回ほど、裏が90回ほど出たとする。このとき結果から1枚のコインの表が出る確率が求められるか。

100回中10回程度しか表が出てないんだから確率としては { \displaystyle \frac{1}{10} } でいいじゃん^^と自分は思うがベイズ学習で似たような結果が得られるか確認する。

まずは上記の設定に似たコイントスの結果を生成はこんな感じ

true_mu = 0.16
X = np.random.binomial(n=1,p=true_mu,size=100)

# 結果の例
# (array([0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0,
#        0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0,
#        0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
#        0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0,
#        0, 0, 0, 0, 0, 0, 0, 0]) )

コイントスは二値の値 { \displaystyle x \in } { 0 , 1 } を取るので、{0,1}を生成してくれるベルヌーイ分布を使う。(1がコインの表とする)
ここではベルヌーイ分布に必要なパラメータ{ \displaystyle \mu }の真の値を 0.16 とした。この値に近いものを観測データから求めるのが目標。

前回の通りにやるとパラメータの推定は i.i.d な観測データ{ \displaystyle X = } {{ \displaystyle x_1,x_2,...,x_N }}としたとき、ベイズの定理から

{ \displaystyle p(\mu |X) = \frac{p(X|\mu )p(\mu)}{p(X)} = p(\mu) \frac{\prod_{n=1}^N p(x_n | \mu)}{p(X)} }


とできる。

タイトル通り事前分布として固定値ではなく確率分布を与える。前提としてベルヌーイ分布のパラメータ{ \displaystyle \mu }の取りうる範囲は (0,1) の間でなくてはいけない。
つまり (0, 1) の間で実数を生成してくれるような確率分布を与えればいいんだな。

ベータ分布なるものは { \displaystyle \mu \in (0,1) }となる実数を生成してくれる連続確率分布らしい。これを使ってみよう。定義は以下のようになっている

{ \displaystyle Beta(\mu | a,b) = \frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)} \mu^{a-1} (1-\mu)^{b-1} }


a,bは非負の実数でなくてはならず、自分で設定するハイパーパラメータ。 殺傷力ありそうな記号{ \displaystyle \Gamma() }がついた関数はガンマ関数。階乗を表現してるそうだ。

a,bを適当に設定したベータ分布をプロットしてみた結果はこんなんになった

f:id:Owatank:20180412131347p:plain

ふわ^〜

aとbの値が小さいと下に凹んだ形状で、大きいと正規分布みたいな山のような形になるのかな。いや数式見れば形状に説明つくんだろうけど・・・

観測データの見えない生成規則がベルヌーイ分布

{ \displaystyle p(x| \mu) \sim Bern(x | \mu) = {\mu}^x (1-\mu)^{1-x}}

に従うとしているから、この式と上のベータ分布の式を事後分布の右辺に代入してみる

{ \displaystyle p(\mu |X) =  \frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)} \frac{(\prod_{n=1}^N {\mu}^{x_n} (1-\mu)^{1-x_n} ) \mu^{a-1} (1-\mu)^{b-1} }{p(X)} }



ヴワッ・・・果てしなく汚い式になってしまった・・・
ガンマ関数と分母はパラメータ{ \displaystyle \mu }によらないので、定数Aとおいて見ればこの式は

{ \displaystyle p(\mu |X) =  A { \mu^{(\sum_{n=1}^N x_n + a) -1} (1-\mu)^{(N - \sum_{n=1}^N x_n + b) -1} } }

こんな感じで書けるはずなのだ。ようは{ \displaystyle \mu }{ \displaystyle (1-\mu ) }でまとめられる。
この式の形はベータ分布と似ている。共役性とやらで実は{ \displaystyle p(x| \mu) }をベルヌーイ分布に設定して、事前分布{ \displaystyle p(\mu) }をベータ分布にしたとき事後分布はベータ分布と同じ形の分布になるのだ・・・

何が嬉しいって分母、もとい周辺尤度{ \displaystyle p(X) }を計算しなくて済む。
多分この周辺尤度ってパラメータ{ \displaystyle \mu }が取りうる範囲で積分、つまりは周辺化して得られるはずだから

{ \displaystyle p(X) =  \int p(X,\mu) d\mu = \int p(X|\mu)p(\mu) d\mu }


こうなるはずなんだよな・・・違うかな・・・
積分するものによっては難しいものあるんじゃなかろうか(´・ω・)

気を取り直して観測データの集合Xからパラメータ{ \displaystyle \mu }を推定する{ \displaystyle p(\mu|X) }を計算するには{ \displaystyle p(x| \mu) }をベルヌーイ分布にして、事前分布をベータ分布に設定すれば、ベータ分布のハイパーパラメータに観測データの情報を加えたものから得られることがわかった。

ベータ分布のハイパーパラメータを a = 0.1 , b = 0.1 に設定して、{ \displaystyle \mu }が本当に推定されていくのか見ていく

for i in range(0,len(X),10):
    est_mu = 0
    est_mu = scipy.stats.beta.rvs(np.sum(X[0:i+10])+a[0], len(X[0:i+10]) - np.sum(X[0:i+10]) + b[0])
    print('観測データの数 : {0}件 、 パラメータμの推定値 : {1} '.format(i,est_mu))

f:id:Owatank:20180412150324p:plain

観測するデータを10件ごと増やしていくと50件以降から真のパラメータの値 0.16 に近くなっていくのが若干わかる
学習できていると見ていいんじゃなかろうか

もういっちょ別の確率分布を使ってパラメータの推定をやってみる
ベルヌーイ分布は二値に対してのみだったが、サイコロの目のようなKパターンの確率も推定してみたい
このようなK次元の確率分布としてカテゴリ分布なるものがある

{ \displaystyle Cat(\boldsymbol{s} | \boldsymbol{\pi}) = \prod_{k=1}^K {\pi_k}^{s_k}}

{ \displaystyle \boldsymbol{s} }{ \displaystyle \boldsymbol{s} = (0,0,1,0,..,0) }といった、K次元のうちk番目の値が1で他の値が0といったonehot表記であること、{ \displaystyle \boldsymbol{\pi}}{ \displaystyle \pi_k \in (0,1) }で、かつ{ \displaystyle \sum_{k=1}^K \pi_k = 1}となることが条件

ベルヌーイ分布でのパラメータ{ \displaystyle \mu}のように、このカテゴリ分布では { \displaystyle \boldsymbol{\pi}} がパラメータになる
次元数をK=6 とし、{ \displaystyle \pi_k = \frac{1}{6} }とすれば等確率のサイコロが表せるんだな

同様に

{ \displaystyle p(\boldsymbol{s} | \boldsymbol{\pi}) \sim Cat(\boldsymbol{s} | \boldsymbol{\pi})}

としたとき事前分布{ \displaystyle p(\boldsymbol{\pi})}はどうすればいいだろう

ベータ分布は{ \displaystyle \mu \in (0,1) }、つまり変数1個しか生成してくれない。同じ (0,1) 区間で実数を多次元で、かつそれらの和が 1 となってくれるようなものを生成してくれる分布はないだろうかと悩むところでディクリレ分布というものがその役割を果たしてくれる。すげえ!!!

{ \displaystyle Dir( \boldsymbol{\pi}| \boldsymbol{\alpha} ) = \frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\prod_{k=1}^K \Gamma(\alpha_k)} \prod_{k=1}^K {\pi_k}^{\alpha_k - 1}}

{ \displaystyle \boldsymbol{\alpha} }の要素{ \displaystyle \alpha_k}は正の実数が条件のハイパーパラメータ

何はともあれ事後分布に代入だ。観測データを{ \displaystyle S =} {{ \displaystyle \boldsymbol{s_1} , \boldsymbol{s_2}, ... , \boldsymbol{s_N}} }とすると

{ \displaystyle p(\boldsymbol{\pi} |S) =  \frac{p(S|\boldsymbol{\pi} )p(\boldsymbol{\pi})}{p(S)} = \frac{(\prod_{n=1}^N Cat(\boldsymbol{s_n} | \boldsymbol{\pi}))Dir( \boldsymbol{\pi}| \boldsymbol{\alpha} )}{p(S)} = \frac{(\prod_{n=1}^N{(\prod_{k=1}^K {\pi_k}^{s_n,k}}))\frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\prod_{k=1}^K \Gamma(\alpha_k)}\prod_{k=1}^K {\pi_k}^{\alpha_k - 1}}{p(S)} }

ヴォエッ・・。こっちも汚くなったが分母とガンマ関数の部分は定数とみなせるのでAとして、総乗の部分はどちらもkのものだからまとめることができる。整理すると

{ \displaystyle p(\boldsymbol{\pi} |S) = A\prod_{k=1}^K {\pi_k}^{\sum_{n=1}^N s_{n,k} + \alpha_k - 1} }

こんな感じで事後分布をディクリレ分布と似た形の式にみることができるのだ。共役性ありがてえ・・・

等確率でないサイコロを作って、そのサイコロの確率、もといパラメータを推定してみる
まずサンプルとなるインチキなサイコロを投げた結果を作る

weights = [0.1,0.1,0.35,0.1,0.25,0.1]
dice = [1,2,3,4,5,6]

obs_dice = np.random.choice(dice,p=weights,size=300)

# カテゴリ分布に投げるためにonehot表記する
obs_dice_onehot = []
t = np.zeros(6)
for d in obs_dice:
    t = np.zeros(6)
    t[d-1] = 1
    obs_dice_onehot.append(t)

np.random.choice()で任意の重みで設定した結果をsizeの数だけくれるようだ。
ここでweights = [0.1,0.1,0.35,0.1,0.25,0.1]が左からサイコロで1がでる確率、2が出る確率、として、これらの重みを結果から推定する

ディクリレ分布に必要なハイパーパラメータ{ \displaystyle \boldsymbol{\alpha}}の値を全て 0.2 とする
データを10件ずつ増やしていってパラメータ { \displaystyle \boldsymbol{\pi}} の推定値がどう変わるか見ていく

for i in range(0,300,10):
    s = [0] * 6
    alpha = [0.2,0.2,0.2,0.2,0.2,0.2]
    for k in range(0,6):
        s[k] = np.sum(list(map(lambda x: x[k], obs_dice_onehot[0:i+10])))
    alpha = np.add(alpha,s)
    p = scipy.stats.dirichlet.rvs(alpha)
    print(i,p)

f:id:Owatank:20180412165541p:plain

10件あたりでもそこそこいい値が出ている気がする。データが増えていくほど値が安定していくようなそうでないような

ベルヌーイ分布なら事前分布をベータ分布に、カテゴリ分布なら事前分布をディクリレ分布にといった共役の事前確率分布を取れば計算がかなり簡単になることがわかった。それでも現実の問題によっては共役でない事前分布を取ることとかあるのだろうか?必ず共役な事前分布をとれって訳ではないしな・・・

これはベイズ学習であって自分が知りたい変分ベイズではない。変分ベイズはこのような手順を踏んではいるけどちょっと違う推定の仕方とかそういうのなんだろうか?(´・ω・)というか試したのは離散であって連続値に対する推定ですらなかった

VAEの理解にはまだ遠い

VAEの理解に必要なベイズ学習について

自己符号化器、初めて知った当初は中間層にて入力の次元数より少ない次元数で表現し、出力層(入力と同じ次元数)で復元を行うすごいやつといったイメージがあった。入力にあえてノイズを加えて出力としてノイズを除去したものを得るデノイジング自己符号化器といったものもあった。

これらを知った時、復元できんの!!!!!!!すげえじゃん!!!!!!と感動した思い出がある。そして近頃VAEなるものを知った。(出たのは2015年頃で今更感はあるけども)

人からVAEの話を聞いた限りでは、VAEは入力されるモノがパラメータ(μ,σ)に従う正規分布によって生成されていると仮定して、そのμとσを推定できれば、入力と似たものを出力として得られる、という認識をもった。
やっぱり正規分布は便利なんだなと思いつつ、自己符号化器は復元だけではなく、入力と似たものの生成もできるのかとワクワクした。
個人的に興味を持ったので、VAEの論文を読んでみた。([1312.6114] Auto-Encoding Variational Bayes)


が・・・・駄目っ・・・・・!

自分が読んだ限り


  • 有向確率モデルとやらで事後分布を持つ潜在変数またはパラメータの近似的な推論と学習を効率的に行いたいということ

  • そのアプローチとして、変分ベイズ(variational Bayesian)を使う。これは事後分布の近似を最適化を含んでいて、その最適化に確率勾配法を用いることでより簡単に最適化が可能ということ。

  • それにより、MCMCといった計算に時間のかかる反復推論スキームを必要としないでシンプルなサンプリングからモデルのパラメータを効率よく学習、そして推論もできるようにしたということ


あとはメソッドあたりのセクションで最適化と思われる手法の数式やその説明とかがビャーっと書いてあった。わかんなかった

この論文を読んだときに、初めて変分ベイズなるものを知った。メソッドの説明に

  • 連続または離散値の変数(入力) x が連続確率変数 z を含む何らかのプロセスで生成されているとする。すなわち入力 x はある条件付き分布{ \displaystyle P_\theta{\ast} (x|z) }から生成されるということ。

  • zとパラメータ{ \displaystyle \theta }観測できない。そのためパラメータ{ \displaystyle \theta }に対する近似最大尤度または最大事後の推定を行う

生成に必要なパラメータが観測できないから、近似及び推定でパラメータを決定するということだな。そしてパラメータ{ \displaystyle \theta }をいい感じに推定できれば、それを用いて実際のデータxに似た人工データを生成できるというのが人から聞いた時の話に繋がるのかな。変数 z を正規分布に見たてるとかか?

大体読んで、変分ベイズとか全くわからん・・・何で事後分布の推定とかが出てくるんだ?と頭を抱えたがこんなことでめげる自分ではない

変分ベイズについて理解を深めればこの論文をより充実して読めるはずと思い、調べることにした。どうやらベイズ学習とはなんぞやというとこから理解をする必要があるっぽい。以下勉強中なので振り返り用のメモ

ベイズ学習という名前からベイズの定理のあの式が出てくる

{ \displaystyle p(\omega | D)p(D) = p(D,\omega ) = p(D|\omega )p(\omega) }

観測データ{ \displaystyle D }を生成するための確率的な法則、確率モデルと呼びこれを考える。確率モデルを作るのに必要なものは観測データ{ \displaystyle D }が何らかのプロセスに従って生成されるとしてその条件付き確率

{ \displaystyle p(D|\omega )}

と、そのプロセスに相当するパラメータ{ \displaystyle \omega }事前分布

{ \displaystyle p(\omega )}

この2つの組{{ \displaystyle p(D|\omega ),p(\omega) }}が必要。言い換えれば観測データはあるプロセスに依存しているとも言える。
等確率のサイコロで言えば、観測データがサイコロを降って出た目で、プロセスの部分は各サイコロの目がでる確率と考えていいかな。

問題はパラメータ{ \displaystyle \omega }観測できない状況のとき。観測できるのは上で言えばサイコロを降って出た目だけ。
ある6面のサイコロをN回降って、出た結果(観測データ)からそのサイコロの各面がでる確率を求めることができるだろうか。

これは確率で言えば、観測データが与えられたもとでのパラメータ{ \displaystyle \omega }の確率

{ \displaystyle p(\omega |D)}

に相当すると解釈できる。事後確率ともいう。これはベイズの定理を使えば
{ \displaystyle p(\omega |D) = \frac{p(D|\omega )p(\omega)}{p(D)}}

右辺を計算すれば事後確率を計算できそうだ

サイコロの各面が出る確率を求めたいのに右辺にはパラメータ{ \displaystyle \omega }に関するものが出てきている。どうするんだというと

自分で指定する

ええ・・・。例えば「多分6面サイコロだし、等確率で考えるのが無難なはず・・・」と仮説を立ててパラメータ{ \displaystyle \omega = \frac{1}{6}}と固定値を与える。
ベイズ学習ではこのようにパラメータに関する仮説、もとい事前分布{ \displaystyle p(\omega )}を自分で与えて観測データを元にその仮説を更新、尤もらしいものにしていく。観測できないパラメータを観測できるデータを元に明らかにするという認識で合っているのだろうか。

事前分布{ \displaystyle p(\omega )}については固定値を与えてあげる他に、正規分布やベータ分布などの確率分布を与えることもできる。VAEでは生成データに必要なパラメータを正規分布で与えるといった文章があった。正規分布に必要な分散パラメータはウィシャート分布から与えるといったこともできるし複雑そう

VAEで生成は画像だけと拘ってしまっていたが、二項分布またはカテゴリ分布を用いればインチキな裏表のコインや6面サイコロなど色々作れそうだ。

長くなったので多分続く

kaggleのメルカリ価格予測コンペの反省とword2vec、Embeddingについて

そういえば年末年始あたりにメルカリのコンペに冬休みの自由研究として参加してました

他のことに追われていたらいつの間にかコンペが終了したので反省という名の手法の振り返りをする

コンペ自体の詳細は以下のリンクから

Mercari Price Suggestion Challenge | Kaggle

何をするコンペだったかというと主催側で商品名、商品の品質(5段階)、商品のカテゴリ名や説明文などが100万件以上あるデータを提供するのでそこから与えられた商品の価格を予測してねっていう感じのコンペ

価格の予測というわけで二値分類とかではないから半教師分類が使えなくて困った(値段予測を10ドル区切りのnクラス分類と置けばゴリ押しできたかも)

まずは自分が行ったデータ分析をば。コードはここ

与えられた訓練用のデータtrain.tsvの欠損値の確認を最初に行うtsvファイルで与えられたので読み込みで最初こけた

# 欠損値の確認
train_df.isnull().sum()

---
train_id                  0
name                      0
item_condition_id         0
category_name          6327
brand_name           632682
price                     0
shipping                  0
item_description          4
dtype: int64

訓練データは140万件ほどある中、brand_nameは63万件も欠損値があることがわかる。
学歴の偏差値でもそうだが、シャネルやルイヴィトンといったブランド名が付与されているだけである程度の価格は検討つきそうという直感があったので、brand_nameが付与されているか否かの二値の値を新たに与えることにした

# brand_nameが存在するなら1を返し、無いなら0を返す
def isBrandname(x,name):
    brand_name = str(x['brand_name'])
    if(brand_name==name):
        return 0
    return 1

fill_nan_brand_name = "Unknown"
train_df['brand_name']=train_df[['brand_name']].fillna(fill_nan_brand_name)
train_df['is_brand_name'] =  train_df.apply(lambda x: isBrandname(x,fill_nan_brand_name), axis=1)

次にcategory_nameの中身を確認した。value_countで中身を見てみると一部でこんな感じ
f:id:Owatank:20180322111441p:plain

カテゴリ数が1って140万もデータあるのになんか嫌だな・・・one-hot絶対したくねえ・・・と思い悩む。
カテゴリの書式はどれも/でsplitできそうだと考えて左から1つsplitしたものを取ってそれをfirst_category_nameという新たなデータとして加えることにする

def get_first_category_name(x):
    category_name = str(x['category_name'])
    return category_name.split('/')[0]

# category_nameの第一カテゴリを抜き取る
# 欠損値は Unknown で埋めておく
fill_nan_category_name = "Unknown"
train_df['category_name']=train_df[['category_name']].fillna(fill_nan_category_name)

train_df['first_category_name'] =  train_df.apply(lambda x: get_first_category_name(x), axis=1)

first_category_namevalue_countは次のようになった

f:id:Owatank:20180322112005p:plain

カテゴリを一つ抜き取ったので全体として意味があるものというのは失われてしまった
カテゴリは3つくらいsplitできそうだったので同様にsecond_category_namethird_category_nameも加えた

ここでグのサマーインターンのときに盗み聞きした懇親会での言葉を思い出す。
日付という文字列のデータから日付を得るように、nameから何かしら得ることはできないだろうか

ということでbrand_nameが無いものに対してnameからブランド名を抜き取ってそれをbrand_nameとして与えてあげることにする

brand_dict = dict(train_df['brand_name'].value_counts())

def extract_brandname_from_name(x,b_dict):
    name = str(x['name'])
    name_split_list = name.split(' ')
    if(x['is_brand_name'] != 1):
        for item in name_split_list:
            if(item in b_dict):
                return item
    return str(x['brand_name'])

train_df['new_brand_name'] =  train_df.apply(lambda x: extract_brandname_from_name(x,brand_dict), axis=1)

new_brand_nameという名前で新たに作ったので、これに対しても最初に行ったブランド名があるか無いかの処理を同様に行った
結果としては10万件ほどブランド名があるものが増えた。

だいたいこんな感じでデータの分析を終えた。自分ではこれがまだ精一杯(´・ω・)

分析して新たに作ったデータで予測を行う学習モデルを構築する

# 入力層
input_dim = 8
X = tf.placeholder(tf.float32, shape=[None, input_dim], name="input")
t = tf.placeholder(tf.float32, shape=[None, 1])
# パラメータ1
stddev = np.sqrt(2.0 / input_dim)
input_node_num = 128
W1 = tf.Variable(tf.truncated_normal([input_dim,input_node_num], stddev=stddev))
b1 = tf.Variable(tf.constant(0.1, shape=[input_node_num]))

# パラメータ2
stddev = np.sqrt(2.0 / input_node_num)
hidden1_node_num = 256
W2 = tf.Variable(tf.truncated_normal([input_node_num,hidden1_node_num], stddev=stddev))
b2 = tf.Variable(tf.constant(0.1, shape=[hidden1_node_num]))

# パラメータ3
stddev = np.sqrt(2.0 / hidden1_node_num)
hidden2_node_num = 512
W3 = tf.Variable(tf.truncated_normal([hidden1_node_num,hidden2_node_num], stddev=stddev))
b3 = tf.Variable(tf.constant(0.1, shape=[hidden2_node_num]))

# パラメータ3
stddev = np.sqrt(2.0 / hidden2_node_num)
output_W = tf.Variable(tf.truncated_normal([hidden2_node_num,1], stddev=stddev))
output_b = tf.Variable(tf.constant(0.1, shape=[1]))
keep_prob1 = tf.placeholder(tf.float32) # ドロップアウトする割合
keep_prob2 = tf.placeholder(tf.float32) # ドロップアウトする割合

layer1 = tf.nn.relu(tf.matmul(X,W1) + b1)

layer2 = tf.nn.relu(tf.matmul(layer1,W2) + b2)
layer2_drop = tf.nn.dropout(layer2, keep_prob1)
layer3 = tf.nn.relu(tf.matmul(layer2_drop,W3) + b3)
layer3_drop = tf.nn.dropout(layer3, keep_prob2)

output_layer = tf.matmul(layer3_drop,output_W)+output_b

p = tf.nn.relu(output_layer,name="output")
# 荷重減衰
norm_term = tf.nn.l2_loss(layer1) + tf.nn.l2_loss(layer2) +tf.nn.l2_loss(layer3)
# 正則項
lambda_ = 0.0001
# 損失関数(MSE)
loss = tf.reduce_mean(tf.square(p - t))+ lambda_*norm_term
#loss = tf.reduce_mean(tf.square(p - t))
# 学習アルゴリズム
optimizer = tf.train.AdamOptimizer()
train_step = optimizer.minimize(loss)

いつも通りのMLPで構築してみた。

しかし結果のスコアは0.713ほどだった。(値が小さい方がいいからクッソ悪い)
何故だと悩んで、そういえばitem_description使ってないな・・・と思った。
他の参加者はitem_descriptionを使用しているのだろうか?と思い、カーネルを漁ることに

するとこんな感じのコードを見つけた

tok_raw = Tokenizer()
tok_raw.fit_on_texts(raw_text)

train_df["seq_item_description"] = tok_raw.texts_to_sequences(train_df.item_description.str.lower())
test_df["seq_item_description"] = tok_raw.texts_to_sequences(test_df.item_description.str.lower())
train_df["seq_name"] = tok_raw.texts_to_sequences(train_df.name.str.lower())
test_df["seq_name"] = tok_raw.texts_to_sequences(test_df.name.str.lower())

!?
え、何これは・・・

層の定義においてはこんなだった

emb_name = Embedding(MAX_TEXT, 50)(name)
emb_item_desc = Embedding(MAX_TEXT, 50)(item_desc)

!!?!?

Embeddingって何だ・・・と当時の自分は思ったが、試しにこれらを使ってnameitem_descriptionを特徴として使いつつ、自分で得た新たなデータも加えて学習させてみるかと試して見たところ、スコアが0.4656とハチャメチャ上がった

当時は全くもって謎だったが、最近自然言語処理について調べたりしていたのでここで定義していたEmbeddingはまずEmbed自体の意味が埋め込みという意味で、埋め込みというのは文字を実数のベクトルに変換して特徴として扱えるようにするって感じなのかなと自分で考えた。

だから最初にtok_raw.texts_to_sequencesitem_descriptionの文章を単語に分割したり、ストップワードの排除やステミングといった前処理をかけてあげたりしていたのだ・・・

埋め込みによるベクトルの変換においてはappleなら[1,0,0,0,0,...]といったone-hotのような変換ではなく、apple = 果物+赤+...といった単語の足し算で表現するようにして[1,0,0,1,0,...]としたり、あえて単語に重みをつけて表現することもできるそうだ

最近読んだポアンカレ埋め込みという論文では、word2vecではユークリッド空間による埋め込みを行っているが、双曲線空間の中に埋め込むことで、ユークリッド空間の埋め込みより単語同士の類似性、つまり距離や潜在的な階層表現などにおいてより優れる結果を出せると書いてあった。しかもベクトルによる表現も倹約に表現できるらしい。

双曲線空間すげえ!!!!!!!!!!!

無敵じゃんこんなの・・・概要だけでめちゃくちゃワクワクしたし銀河を感じてしまった・・・
しかしこの論文で出てきた最適化方法あたりでリーマン最適化、測地線、などなど聞いたこともない単語がたくさん出てきて全然わからなかった
どうやら噂の多様体というものを知る必要があるらしい。

今まで機械学習って確率統計とか最適化数学あたりが重要なんかなーと思っていたが、自然言語処理において幾何学ってこんなロマンがあるし、こういった問題に対して登場してくるのかと思える良い発見ができるコンペだった。結果はボロクソだったが

ベクトルの射影と内積について

確率統計の本を読んでいて、共分散行列あたりで射影の話が出てきた。
そういえば射影についてのイメージがあやふやだったなと思ったのでメモ
かなり前に読んだフーリエの冒険を参考にした。

f:id:Owatank:20180224140956p:plain

上の画像において{ \displaystyle \vec{B} }{ \displaystyle \vec{A_1} }{ \displaystyle \vec{A_2} }に射影するというのは{ \displaystyle \vec{B} }を射影したい方向のベクトルと直交するように下ろして交わった時のベクトル{ \displaystyle \vec{P_1} }{ \displaystyle \vec{P_2} }が射影ベクトルとなる。

何をしているかといえば{ \displaystyle \vec{B} }{ \displaystyle \vec{A_1} }{ \displaystyle \vec{A_2} }ではどういったもので表されるかみたいなものを{ \displaystyle \vec{P_1} }{ \displaystyle \vec{P_2} }が示している。{ \displaystyle \vec{B} }が卵を表すベクトルで{ \displaystyle \vec{A_1} }がサンドイッチを表すベクトルなら{ \displaystyle \vec{P_1} }はタマゴサンドを表す(卵を使ったサンドイッチのネタならなんでもいいけど)。

なんで直交していないといけないんだろって思ったけど{ \displaystyle \vec{P_1} + \vec{P_2} = \vec{B}}という関係が成り立つから何となく察した。

実際に{ \displaystyle \vec{B} }{ \displaystyle \vec{A_1} }に向かって垂直に下ろしたとして、交わる{ \displaystyle \vec{P_1} }を求めてみる。

f:id:Owatank:20180224142903p:plain

{ \displaystyle \vec{B} }{ \displaystyle \vec{A_1} }に向かって垂直に下ろしたときのベクトルは{ \displaystyle \vec{P_1} - \vec{B}}で表せる。
{ \displaystyle (\vec{P_1} - \vec{B})}{ \displaystyle \vec{A_1} }と垂直だから内積は0になるのはわかる。
そして{ \displaystyle \vec{P_1} }{ \displaystyle \vec{A_1} }の長さが違うだけのものなので(スカラー倍)以下の関係になっている。

{ \displaystyle \vec{P_1} = x\vec{A_1}} (xは定数)


つまり{ \displaystyle \vec{P_1} }は 定数x を求められれば実質求められる。いくつか悪さできそうな関係式{ \displaystyle \vec{A_1} \cdot (\vec{P_1} - \vec{B}) = 0}{ \displaystyle \vec{P_1} = x\vec{A_1}}から

{ \displaystyle \vec{A_1} \cdot (\vec{P_1} - \vec{B}) = 0}{ \displaystyle \vec{P_1} = x\vec{A_1}} を代入して
{ \displaystyle \vec{A_1} \cdot (x\vec{A_1} - \vec{B}) = 0} になる。これを展開して
{ \displaystyle x\vec{A_1} \cdot \vec{A_1} - \vec{A_1} \cdot \vec{B} = 0}つまり{ \displaystyle x\vec{A_1} \cdot \vec{A_1} = \vec{A_1} \cdot \vec{B} }が得られる。
x だけの式に変形して

{ \displaystyle x = \frac{ \vec{A_1} \cdot \vec{B}}{\vec{A_1} \cdot \vec{A_1}} }  { \displaystyle x\vec{A_1} = \frac{ \vec{A_1} \cdot \vec{B}}{\vec{A_1} \cdot \vec{A_1}}\vec{A_1} }

最後両辺に{ \displaystyle \vec{A_1} }をかけたのは{ \displaystyle \vec{P_1} = x\vec{A_1}}の右辺に上記を代入したいため。結果として

{ \displaystyle \vec{P_1} = \frac{ \vec{A_1} \cdot \vec{B}}{\vec{A_1} \cdot \vec{A_1}}\vec{A_1} }が得られる。


ただの定数xは分子も分母も内積な形で表されていたのだ・・・
{ \displaystyle \vec{A_1}}{ \displaystyle \vec{B}}自体が直交していたらxの分子の内積は0になるので射影した値も0になるのがわかる。

中学か高校生の頃にこんな感じの式を見たことはないだろうか?

{ \displaystyle \vec{X}\cdot \vec{Y} = |\vec{X}| |\vec{Y}|cos\theta}{ \displaystyle \vec{X}\cdot \vec{X} = |\vec{X}|^2}


内積ってやつだ。これでさっき得られた式を書き換えてみる。

{ \displaystyle \vec{P_1} = \frac{ \vec{A_1} \cdot \vec{B}}{\vec{A_1} \cdot \vec{A_1}}\vec{A_1} = \frac{ |\vec{A_1}| |\vec{B}| cos\theta}{|\vec{A_1}|^2}\vec{A_1} = |\vec{B}|cos\theta \frac{\vec{A_1}}{|\vec{A_1}|}}

うーん。分子と分母の内積な形のときより得体の知れない形になってしまった。cosを何とかしたい
f:id:Owatank:20180224160416p:plain
三角関数でよくみたやつだ。ん・・・?待てよ・・・?
cosをベクトルの長さから表すことができるんじゃないか!?
f:id:Owatank:20180224161439p:plain

{ \displaystyle cos\theta = \frac{|\vec{P_1}|}{|\vec{B}|}}より{ \displaystyle |\vec{P_1}| = |\vec{B}|cos\theta}、ベクトル{ \displaystyle \vec{P_1}}の長さが得られた。おほ^〜

これらのことから
求めたい射影ベクトル{ \displaystyle \vec{P_1} = \frac{ \vec{A_1} \cdot \vec{B}}{\vec{A_1} \cdot \vec{A_1}}\vec{A_1} }の分母や分子の関係式は{ \displaystyle \vec{P_1} = |\vec{B}|cos\theta \frac{\vec{A_1}}{|\vec{A_1}|}}という得体の知れない関係式に直すことができ、それは f:id:Owatank:20180224163131p:plain
{ \displaystyle \vec{P_1}}{ \displaystyle \vec{A_1}}の方向(単位ベクトル)に{ \displaystyle |\vec{P_1}| = |\vec{B}|cos\theta}の長さだけ進んだベクトルという見方をすることできた。

そもそも射影って何が便利なんだろと考えたけど{ \displaystyle \vec{B}}をりんご、オレンジ、桃の3つの果物を合わせたミックスジュースだとしたらそれを各成分ごとに分解したいといった時に便利なんかなと考えた。いや逆に射影ベクトルからミックスジュースのベクトルを作ることも可能なのか・・・?

今更だけど内積って二つのベクトルが同じ向きではないときに、どっちかのベクトルの方向に合わせて({ \displaystyle |\vec{B}|cos\theta}のような処理)をして二つの長さを掛け合わせるといったイメージでいいのかな

内積もそうだけど距離というか位相というか連続や隣の概念のようなものについても勉強すべきだなと思った。

参考アンド宣伝
フーリエの冒険
フーリエの冒険
フーリエの冒険

機械学習の勉強を始めて1年ほど経ったので振り返る

あまりこういうことするのは好きではないが、これからも勉強を続けていってどれくらい成長できたか確認したいと思ったので、タイトル通り機械学習の勉強を始めて1年ほど経ったので振り返ることにした。

始めた発端

学部2年の10月頃、大学の授業にあまり追われなくなり暇になってたところ先輩から「はじめてのパターン認識」という本を貸してくれたので読むことにした。
わからないところも多かったけど、パターン認識って(プロトタイプとかからの)距離から分類したり、勾配とか使うんだなーくらいのイメージが付いた。
授業もあったしノートに写しながら読んでいたので、読み終わるのに2ヶ月くらいかかった記憶がある。

その後1〜2月頃(うろ覚え)にTensorflowを使ったディープラーニングのアルバイトもどきをやってみないかと声をかけられたのでやることにした。
このアルバイトではライブラリの使い方や導入方法、簡単な回帰や分類の記事を書いたり(バージョンの変化による)修正したりするものだった。
始めた頃はコードで定義されている損失関数やソフトマックスってなんだ?みたいな雰囲気でディープラーニングをやっている状態で今覚えばかなりひどかった。

3月

Tensorflowで構築したモデルをAndroidアプリとして動かしたいと言われリファレンスを読みまくる日々に追われた。
この記事を参考にしてアヤメの分類をアプリとして動かしたり
f:id:Owatank:20180211114241p:plain
この方法だとc++でなぜかコードを書かないといけなくて辛かった。
その後モルガンさんの素晴らしい記事を見つけて、おかげでモデルのファイルを読み込んで入力値を渡してあげるだけで済むようになって咽び泣いた。

春休みに入って時間もできたので真面目にディープラーニングの仕組みみたいなものについて勉強しようかなと思い始める。
何から始めればいいか悩んでいたところ何故か会社に「ゼロから作るDeep Learning」という本が転がっていたのでこっそり借りて読んだ。
はじパタを事前に読んでいたおかげかサクサク読めたしTensorflowを使ってネットワークの構築で定義していたtf.layers.conv2dのパラメータの意味や、tf.nn.dropoutとかの意味がわかっていってめっちゃ楽しかった。伏線回収しているような気分だった。

4月~8月

魚の本のおかげで、もっとディープラーニングについてしっかり勉強したいなと思うようになって次に研究室に置いてあった青くてイルカの絵が載っている岡谷さんの「深層学習」という本を読んだ。自己符号化器の内容が読んでいて一番ワクワクした。
かなり授業を取ったので勉強に充てる時間が全くなくて半分以上読む頃には夏休みに入っていた。

それとは別で物体検出というものに興味を持って、SSDという手法を知る。自分で実装してみたいと思いまず仕組みを知ろうと思った。SSDの行なっていることを知るにはRCNNSPP-netなどの論文から読まなくてはいけないらしく初めて論文を読んだ。英語力がスカスカで一つ読むのに2週間以上かかった。

論文を読んで思ったのは、論文内で定義されている損失関数などの数式の意味があまり理解できなかったということ。
ディープラーニングの仕組みではなく数学の基礎的なものをやり直そうかなと思い始めた。

9月

初めての機械学習インターンに参加した。割とボロボロな結果だったけど、機械学習にしてもディープラーニングにしても、必要なデータは自分で整形したり特徴量の絞り込みをしたりしなくてはいけないということを痛感する。

今までMNISTやアヤメのデータセットなど用意されたデータでやっていたのでこれはかなり自分の中では大きかった。

10月~11月

9月のインターンのこともあり、「戦略的データサイエンス」という本を借りて読んでいった。この本のおかげで、エントロピーなるものや混同行列に決定木など色々なことを知ることができた。
またデータセットの整形、前処理ということにも慣れようと思い、kagglのフリーのデータセットpandasというライブラリを使ってデータの操作の練習をした。「Pythonによるデータ分析入門」という本が図書館にあったのでちまちま借りた。

11月の最後に某リクのデータサイエンティストイベントなるものがあり何故か参加できた。学部生が自分だけで辛かった。
所属している研究室は卒業単位が取れないと研究させてくれない(研究スペースすら割り当てられてなかったけど)らしいので、面接のときに研究内容を話すことが全くできなかったし、面接に来てくれた各企業の人からは「いや絶対院に行ったほうがいいよ」と言われて進路相談を受けている気分だった。優秀な人を取りに来ているのにすごく申し訳なかった。

他の参加者からエントリーシートがスカスカじゃんとか、googleに就職したいとか書いておこうよwとか今の時期から機械学習の勉強してるみたいだけどブームすぎたらどうするの?とかイキられて言われて懇親会のピザがしょっぱかった。
旧帝大修士や博士というだけで学歴ビーム喰らっているのにさらにオーバーキルされた気分だった。

それでも企業の人やイキリ修士、博士の意見から、機械学習の勉強をするのはいいとして、一体どういったことをしたいのか(研究としても仕事としても)ということを考えようと思った。今まではわかると楽しいからやっていたという感じで何がしたいかは全くなかった。

12月

4月からの研究テーマや将来何しようかなと考えつつ、数学的な基礎を固めようと思い「プログラミングのための線形代数」という本を読んだ。
1年生の頃は単位のためと適当にやっていた線形代数だったけど基底や固有値固有ベクトルの存在などのありがたさがわかってくると興奮した。
kagglのメルカリコンペにこっそり参加した。

1月

「スパース性に基づく機械学習」という本を帰省している間に読もうと思ったが見事に数式の部分で躓いたので「プログラミングのための確率統計」を読むことにした。読んでいくと「深層学習」の本で載っていた白色化の式の意味とかがわかってやっぱ基礎がガバガバと再認識した。

自然言語処理について触ろうと思ってWORD2VECなどの論文を読んだいたら、ユークリッド空間やリーマン勾配、測地線とか謎の単語が出て来て!?となった。なんで言語処理なのにこんなものが出てくるんだ・・・多様体って何だ・・・・
論文でボコボコにされたが単語の類似性などを保ったまま実数値のベクトルに変換?するには幾何学の考えが必要なんだなと思った。
それまで機械学習の勉強って線形代数や確率統計、最適化数学とかをやっとけばいいのかな〜とかのんきに考えていたが、他の数学の分野を知っておくと考えをこういった手法のアプローチが提案できるのかと感動した。 というか幾何学にものすごい興味を持った。

幾何学の勉強は位相空間論、多様体論、双曲幾何とたくさんあるし一つ学ぶのにすごい時間がかかるそうだ。
そのおかげか世界が広くなったように感じてまだまだ薄っぺらいままで全然成長できてないんだと実感した。
学ぶべきこと、やりたいことは沢山あるし自由な時間は4月から少なくなっていくけど、自分がどうなりたいかを考えてやっていきたい