情報理論

機械学習の数理②(パラメーター推定) (書きかけ)

はじめに 授業で勉強したことをまとめていきます。 前回はこちら slimelimestech.hatenablog.com 次回はこちら 目次 はじめに 目次 2. パラメーター推定 2.1 最尤推定 最尤推定量はなぜ良いか 2.2 ベイズ推定 2.3 線型回帰 2.4 MAP推定 2.5 スパース正則化 2…

機械学習の数理①(機械学習の捉え方)

はじめに 授業の復習用に勉強したことをまとめていきます。 はじめに 1. 機械学習の捉え方 1.1 機械学習の捉え方 データのタイプ 教師ありかなしか プロセスの型 知識表現 潜在表現モデル 学習の目的関数 推定...未知の真の分布を当てる 予測...将来のデータ…

情報理論を簡単に説明する。(第二章 情報理論の問題)

この記事は、「今井秀樹(1984) 『情報理論』昭晃堂」の第二章を勉強した内容を記録した自分用のノートです。詳しい内容が気になる方は、元の教科書を買ってみてください! 第一章はこちら↓ slimelimestech.hatenablog.com 2.1 問題の提起 ここでは、2元通信…

情報理論を簡単に説明する。(第一章 序論)

この記事は、「今井秀樹(1984) 『情報理論』昭晃堂」の第一章を勉強した内容を記録した自分用のノートです。詳しい内容が気になる方は、元の教科書を買ってみてください! 1. 情報理論とは 1.1 情報の伝達 情報理論とは、情報の伝達をいかに効率よく、そして…