回帰（6/3 4日目）

今日も回帰について勉強！

やさしく学ぶ 機械学習を理解するための数学のきほん ~アヤノ&ミオと一緒に学ぶ 機械学習の理論と数学、実装まで~

 色々用語が出てきたので備忘録。

最適化問題

ある関数（目的関数と言う）の値が一番小さく（大きく）なるような、パラメータを探す事？

最小二乗法

線形回帰において、実際の値と予測値の誤差の和を最小化し目的の関数を得る方法。式は割愛。

最急降下法

二次関数の最小値を求めて何かするっぽい。そのときに微分を使う。

導関数

関数を微分して得る関数のこと。

η（イータ）

学習率と呼ばれる正の定数。学習率の大小により最小値に到達するまでの更新回数が変わる。

収束せずに発散する場合もあり、その様子も図で解説されていれ分かりやすかった。

偏微分

多変数関数の場合、変数ごとに動かし方も変えなければならない。一旦、他の変数を定数扱いにし微分する方法。

感想

メモ書きになっちゃいました笑。何となく回帰について理解できてきました。

アウトプット続けていると学習効率があがる気がします。あと楽しい。理論のアウトプットってただ学習しているだけではやる機会が無いと思うので、noteやブログ等の人目に触れる可能性のある所に公開するのって大事だと思う。

この調子で続けよー。