データ分析や機械学習を行う場合、必ず複数の事象が「同時」に発生する確率や、ある事象Aが発生した「時に」事象Bが発生する確率を求めることが多々あります。なので今回は「同時確率」と「条件付き確率」について解説します。

続きを読む

機械学習やデータ分析を行っていると「平均」や「期待値」と言う言葉を聞くかと思います。
私が学生時代の頃はわかっているようでわかっていませんでした。なので、この記事では「平均」について説明します。

続きを読む

ベイズの定理について説明します。ベイズの定理は様々な手法の式変形で用いられます。

続きを読む

Watsonは、IBMが開発した質疑応答システム・意思決定支援システムです（Wikipedia）。
IBMはWatsonを人工知能と呼ばず、「コグニティブ・コンピューティング・システム」と紹介しています。米IBM基礎研究所のバイスプレジデントDario Gil氏は、AIは人が行う作業をコンピュータが行うもの、コグニティブシステムは人がより良い作業が行えるようにサポートするものであり、両者はゴールが違うと説明しています（人工知能と“コグニティブシステム”は目指すゴールが決定的に違う）。
私は、Watsonの利用方法によって、人が行う作業をコンピュータが行うもの、すなわちAIに位置づけされるとおもうので明確に定義する必要はないと思いました。

続きを読む

乗法定理と全確率の公式について説明します。これらは確率の式変形を行うときによく使用される定理です。特にベイズの定理を用いる手法で使用されます。ベイズの定理を用いる手法は主に以下の通りです。

• ナイーブベイズ
• ベイジアンネットワーク
• ベイズ統計

続きを読む

機械学習を学習するのに、確率論の知識が必要になる場面が多々あります。
なので、機械学習の記事を投稿する前に、確率論について記述します。

続きを読む

本ブログは下記のユーザー向けに作成されています。

• 統計学・機械学習を本質から理解したい
• 自分自身で機械学習を利用したアプリを作成したい
• 統計学・機械学習を業務に活かしたい

記事の内容は基本的に参考書や論文から理解できた内容とブログメンバーが業務での実体験を記述します。

ラグランジュの未定乗数法（不等式制約とKKT条件）

前回までで、「等式制約」のラグランジュの未定乗数法が
わかったかと思います。

続きを読む

ラグランジュの未定乗数法（勾配ベクトルと等式制約）

では、具体的に

制約条件：$$t_i({}^t\!\boldsymbol{w}\cdot\boldsymbol{x_i}+\theta_0) \geq 1$$

での
目的関数:
$$\max_{\boldsymbol{w},\theta}d_i=\max_{\boldsymbol{w},\theta_0}\frac{1}{\sqrt{{}^t\!\boldsymbol{w}\cdot\boldsymbol{w}}}$$

をどうやって解くかというと、これには最適化という
学問領域の話になります。

続きを読む