DeepLearning

「DeepLearning」に関する情報が集まっています

人気の投稿

新着の投稿

画像 正則化 過学習を抑えるために必要。DeepLearningは、汎用性をもたせるのが第一なので。 過重減衰 Weight Decayという。 DeepLearningのDNNモデルでは、重みパラメータが大きくなりすぎると訓練データに過学習しすぎて、他のデータでの精度が悪くなってしまう。 よって、損失関数に重さの2乗ノ...

2019-08-25

画像 重みの初期値 重みの初期値の設定はすごく大事。この設定によって、学習率や過学習のスピードが著しく変わる。 方法はいくつかある。 Xavierの初期値 前の層のノード数を$n$として$1/{\frac{1}{{\sqrt{n}}}$の標準偏差の重みを使う。 このXavierはSigmoidやtanhの線形的な(対象的...

2019-08-24

画像 勾配法 DNNでは、モデルのパラメータを修正して、目的地をきちんと求めることを目的としている。 よって、パラメータをどう調整するか?が大切である(ネットワークの重みなど) このとき、学習においては出力損失関数値$L$の微分を利用して重みを修正するが、この重みの修正アルゴリズムには複数あるのでそれを見ていく。 SGD ...

2019-08-23

画像 Affineレイヤ Affine変換は行列の積で表される変換らしい。画像をある方向に傾けたりサイズを変えたりするもの。 NNだと、普通の行列積の重みWの層に値する。 各元の層(入力、Hideen層など)の間にこのAffine+ReRUを入れる。 行列の微分 行列の微分は各成分ごとに行うと証明できる。 今回は本...

2019-08-22

画像 誤差逆伝播法 これまでの通常の数値微分を毎回やると計算量が著しくひどい。 よって、誤差逆伝播法という物を使う。 これは簡単に言うと、フォワードプロパゲーションとは逆方向に微分値を流していくというものである。 逆方向に流す際は 加算ならそのまま後ろに渡し、乗算なら反対方向の値を書けて後ろに渡す。これは、計算上こう...

2019-08-21

画像 内容 ニューラルネットワーク ニューラルネットワークはたくさんのデータを駆動に機能する。 機械学習は特徴量を人間が選ぶ必要があるが、ニューラルネットワークはそれごとすべて完全にNNにやらせてしまう。こわいね。よって、ブラックボックス(こわい 損失関数 ニューラルネットワークの学習には$2$通りの目的関数を使う。 ...

2019-08-18

画像 線形代数 ディープラーニングは線形代数 $i$層の出力は $A_i = Z_{i-1} {\times}A_i + B_i$ $Z_i = f(A_i)$となるただし、$f$は活性化関数。 分類問題と回帰問題 分類問題は、データを0~9などに分類するやつ。面白いやつだとラブライブのキャラをどれに分類する?って...

2019-08-17

0.はじめに 今までQiitaとはてな、Scrapboxを使ってきましたがどうしてもQiitaだと個人的には丁寧に書かないとというイメージがありました。そのため、Qrunchはブログによりちかく、Qiitaなどのサイト自体のSEOを汚さないようなのでこっちで、適当なアウトプットをしていこうと思います。 私は現在大学四年生で来年は大学院に進学しま...

2019-08-10

画像 内容 活性化関数が大事だなぁという内容。 活性化関数関数がないと、ただの線形式になって、いらない表現・計算量が増える。 そのためにいろいろな活性化関数があるので活用しようね、という回。 明日 3章残りを終わらす

2019-08-16

ゼロから作るDeepLearning 昔やっていたが、自分の進む道が 「群知能」「AI」「DeepLearning」「アルゴリズム」 の複合になりそうなのでもっかいやる。 今回は、まず理論よりも動くところを優先しそこから数式を勉強する時間があれば勉強していきたい。 画像 第一章 Python Pythonの...

2019-08-13

論文:https://arxiv.org/abs/1808.01244 概要 オブジェクトの左上と右下の境界を予測することにより物体検出をする手法を提案MSCOCOにおいてAP42.2%を達成した。 Corner予測のモチベーション SSDのようなアンカーボックスを利用したObjectDetectionモデルの問題点 大量のア...

2019-08-10

今回はLesson6 https://course.fast.ai/videos/?lesson=6 notebookはこちら https://github.com/fastai/course-v3/tree/master/nbs/dl1 #Tabular learner以下はTabular learnerのModelである clas...

2019-06-07

技術ブログ開設

ここから先はアカウント(ブログ)開設が必要です

英数字4文字以上
.qrunch.io
英数字6文字以上
ログインする