Normalizing Flow入門 第7回 Neural ODEとFFJORD

Tatsuya Yatagawa
こんにちはtatsyです。非常に長くなったNormalizing Flow入門も今回が最終回です。 今回はNeurIPS 2018でベストペーパーを獲得した論文であるNeural Ordinary Differential Equations (Neural ODE)[1]と、それを利用したNormalizing Flowの位置手法であるFree-form Jacobian Of Reversible Dynamics (FFJORD)[2]についてご紹介したいと思います。 Neural Ordinary Differential Equation Neural ODEはその名前にもある通り、ニューラルネットワーク ...

Normalizing Flow入門 第6回 Residual Flow

Tatsuya Yatagawa
こんにちはtatsyです。Normalizing Flow入門(?)の第6回です。 今回はNormalizing Flowの中でも逆関数が計算可能なニューラルネットワークのレイヤーを使うInvertible Residual Network[1]と、その発展系であるResidual Flow[2]について見ていきたいと思います。 個人的に、この論文は論理の運び方に無駄がなく、学部生レベル+αくらいの線形代数の知識があれば全体 ...

Normalizing Flow入門 第5回 Autoregressive Flow

Tatsuya Yatagawa
こんにちはtatsyです。Normalizing Flow入門の第5回です。だんだん、入門なのかどうか分からなくなってきました。 今回は、Bijective Couplingの考え方を改良したAutoregressive Flowについてご紹介したいと思います。 今回の記事の中で紹介する2つの手法、Inverse Autoregressive Flow (IAF)[1]とMasked Autoregressive Flow (MAF)[2]は考え方はほとんど同じであるにも関わらず、 ...

Normalizing Flow入門 第4回 Glow

Tatsuya Yatagawa
こんにちはtatsyです。Normalizing Flow入門の第4回です。 今回は前回紹介したBijective Couplingに基づく手法でありながらも、いくつかの工夫により表現力を向上させたGlow[1]についてご紹介したいと思います。 Glow 今回紹介するGlowはReal NVPをベースにしており、スケーリングと平行移動を組み合わせた変数変換 (Affine Coupling)に加えてActnormとInvertib ...

Normalizing Flow入門 第3回 Bijective Coupling

Tatsuya Yatagawa
こんにちはtatsyです。Normalizing Flow入門の第3回です。 今回はNormalizing Flowの代表格であるReal NVP[1]などで使われており、その表現力を上げる上で重要なアイディアの一つであるBijective Couplingについてご紹介したいと思います。 ニューラルネットのヤコビアン 前回の記事では、Planar Flowを例にとって、最尤推定によって正規分布を目的の確率分布に ...

Normalizing Flow入門 第2回 Planar Flow

Tatsuya Yatagawa
こんにちはtatsyです。今回も前回に引き続きNormalizing Flowの技術について紹介します。 前回はNormalizing Flowの応用例の一つである変分推論を取り上げて、Normalizing Flowがどのように応用しうるのかについて紹介しました。 今回はこのような応用で用いるためにNormalizing Flowが満たすべき条件について議論し、最も基礎的なNormalizing Flowの一 ...

Normalizing Flow入門 第1回 変分推論

Tatsuya Yatagawa
こんにちはtatsyです。今回は最近興味をもっているNormalizing Flowの技術について紹介したいと思います。 Normalizing Flowという言葉はRezendeらによって2015年に発表された以下の論文で一般的に使われるようになった言葉です。 Rezende et al. 2015, “Variational Inference with Normalizing Flows”, ICLR 2015. [arXiv] この論文のタイトルにある通り、Normalizing Flowという技術はVariational Inference、すなわち変分推論の技術の一 ...

個人サイトをHugoに移管した話

Tatsuya Yatagawa
みなさん、お久しぶりですtatsyです。この記事は、ブログのリハビリも兼ねた記事で、若干内容が薄めです。 気づくといろいろあった2020年ももう終わりで、今年は一度もブログを更新していないことに気付きました (といっても昨年もレイトレ合宿の報告だけでしたが…)。 というわけで、何か記事を書こうと思い立ち、今年何かとお世話になった静的ウェブサイト・ジェネレータについて書いてみようと思いました ...

レイトレ合宿7に行ってきました

Tatsuya Yatagawa
こんにちはtatsyです。最近、全くブログの方を更新していなかったのですが、今週末は猪苗代湖で行われたレイトレ合宿7に行ってきました。 私が言うのもおこがましいのですが、近年は参加者のインフレが続いておりまして、上記のWebページに公開されている画像も非常にハイレベルです。何よりの驚きは、これほどレベルが上っているのに、年々、レンダリングにかけられる時間は減っているということです (今年は1分間)。 本 ...

TensorFlowで有名モデルをスクラッチから学習するときの注意点

Tatsuya Yatagawa
こんにちはtatsyです。 私はDeep Learningのフレームワークは主にTensorFlowを使っているのですが、今回GoogLeNetのInception-v3というモデルをImageNet以外のデータで学習させた時に少しハマったので、解決策を共有しておきます。 ここで有名モデルと言っているのはAlexNetやVGG, GoogLeNet, ResNetといったILSVRCという画像認識コンテストで良い成績を獲得し ...