2022年11月30日にOpenAI社がGPT-4搭載のモデルを公開して以降、ChatGPTがメディアなどでも耳目を集めている。このような一つの情報科学の技術が大きな注目を集めるのはDeepMind社が開発したAIであるAlphaGoが囲碁のプロ棋士であったイ・セドル氏を破って以来だろうか。 そこで、今回の記事では、「AIは人間の仕事を奪うのか？」、「教育におけるAIとの向き合い方」の2点について畑 ...

こんにちはtatsyです。非常に長くなったNormalizing Flow入門も今回が最終回です。 今回はNeurIPS 2018でベストペーパーを獲得した論文であるNeural Ordinary Differential Equations (Neural ODE)[1]と、それを利用したNormalizing Flowの位置手法であるFree-form Jacobian Of Reversible Dynamics (FFJORD)[2]についてご紹介したいと思います。 Neural Ordinary Differential Equation Neural ODEはその名前にもある通り、ニューラルネットワーク ...

こんにちはtatsyです。Normalizing Flow入門(?)の第6回です。 今回はNormalizing Flowの中でも逆関数が計算可能なニューラルネットワークのレイヤーを使うInvertible Residual Network[1]と、その発展系であるResidual Flow[2]について見ていきたいと思います。 個人的に、この論文は論理の運び方に無駄がなく、学部生レベル＋αくらいの線形代数の知識があれば全体 ...

こんにちはtatsyです。Normalizing Flow入門の第5回です。だんだん、入門なのかどうか分からなくなってきました。 今回は、Bijective Couplingの考え方を改良したAutoregressive Flowについてご紹介したいと思います。 今回の記事の中で紹介する2つの手法、Inverse Autoregressive Flow (IAF)[1]とMasked Autoregressive Flow (MAF)[2]は考え方はほとんど同じであるにも関わらず、 ...

こんにちはtatsyです。Normalizing Flow入門の第4回です。 今回は前回紹介したBijective Couplingに基づく手法でありながらも、いくつかの工夫により表現力を向上させたGlow[1]についてご紹介したいと思います。 Glow 今回紹介するGlowはReal NVPをベースにしており、スケーリングと平行移動を組み合わせた変数変換 (Affine Coupling)に加えてActnormとInvertib ...

こんにちはtatsyです。Normalizing Flow入門の第3回です。 今回はNormalizing Flowの代表格であるReal NVP[1]などで使われており、その表現力を上げる上で重要なアイディアの一つであるBijective Couplingについてご紹介したいと思います。 ニューラルネットのヤコビアン 前回の記事では、Planar Flowを例にとって、最尤推定によって正規分布を目的の確率分布に ...

こんにちはtatsyです。今回も前回に引き続きNormalizing Flowの技術について紹介します。 前回はNormalizing Flowの応用例の一つである変分推論を取り上げて、Normalizing Flowがどのように応用しうるのかについて紹介しました。 今回はこのような応用で用いるためにNormalizing Flowが満たすべき条件について議論し、最も基礎的なNormalizing Flowの一 ...

こんにちはtatsyです。今回は最近興味をもっているNormalizing Flowの技術について紹介したいと思います。 Normalizing Flowという言葉はRezendeらによって2015年に発表された以下の論文で一般的に使われるようになった言葉です。 Rezende et al. 2015, “Variational Inference with Normalizing Flows”, ICLR 2015. [arXiv] この論文のタイトルにある通り、Normalizing Flowという技術はVariational Inference、すなわち変分推論の技術の一 ...

みなさん、お久しぶりですtatsyです。この記事は、ブログのリハビリも兼ねた記事で、若干内容が薄めです。 気づくといろいろあった2020年ももう終わりで、今年は一度もブログを更新していないことに気付きました (といっても昨年もレイトレ合宿の報告だけでしたが…)。 というわけで、何か記事を書こうと思い立ち、今年何かとお世話になった静的ウェブサイト・ジェネレータについて書いてみようと思いました ...

こんにちはtatsyです。最近、全くブログの方を更新していなかったのですが、今週末は猪苗代湖で行われたレイトレ合宿7に行ってきました。 私が言うのもおこがましいのですが、近年は参加者のインフレが続いておりまして、上記のWebページに公開されている画像も非常にハイレベルです。何よりの驚きは、これほどレベルが上っているのに、年々、レンダリングにかけられる時間は減っているということです (今年は1分間)。 本 ...