分散共分散行列・とは？初心者向けにわかりやすく解説共起語・同意語・対義語も併せて解説！

この記事を書いた人

高岡智則

年齢：33歳性別：男性職業：Webディレクター（兼ライティング・SNS運用担当）居住地：東京都杉並区・永福町の1LDKマンション出身地：神奈川県川崎市身長：176cm 体系：細身〜普通（最近ちょっとお腹が気になる）血液型：A型誕生日：1992年11月20日最終学歴：明治大学・情報コミュニケーション学部卒通勤：京王井の頭線で渋谷まで（通勤20分）家族構成：一人暮らし、実家には両親と2歳下の妹恋愛事情：独身。彼女は2年いない（本人は「忙しいだけ」と言い張る）

分散共分散行列・とは？基本のキホン

分散共分散行列・とは、複数の変数を同時に扱うときに、それぞれの変数がどの程度一緒に動くかを表す統計の道具です。分散は一つの変数がどれくらいばらつくかを表し、共分散は二つの変数が同じ方向に動くかどうかを示します。これらを一つの行列にまとめたものが分散共分散行列です。

この行列は対称で、正定値もしくは半正定値 の性質を持ちます。対称性とは Cov(X_i, X_j) = Cov(X_j, X_i) が成り立つこと、正定値性はデータが実際にばらつきを持つ限り正の値を備えることを意味します。

分散と共分散の意味

分散は変数の散らばりを示す指標で、Var(X_i) = Cov(X_i, X_i) という形で自分自身との共分散として表されます。一方、共分散 Cov(X_i, X_j) は二つの変数がどの程度同じ方向に動くかを示します。正の共分散なら二つの変数が同じ方向へ動きやすく、負の共分散なら反対方向へ動きやすいことを意味します。

分散共分散行列の定義

ある確率ベクトル X = [X1, X2, ..., Xp] があり、μ = E[X] が平均ベクトルだとします。分散共分散行列 Cov(X) は Cov(X) = E[(X - μ)(X - μ)^T] となります。これにより行列の成分 Cov(X_i, X_j) が各変数間の共分散を表します。

また、実際のデータを用いる場合、母集団の Cov(X) を直接求められないことが多いです。そのときはサンプル共分散行列 S を用います。S は以下の式で計算します。

サンプル共分散行列の定義

n 個のデータ点 x1, x2, ..., xn があり、それぞれ p 次元のベクトルとします。平均ベクトル x̄ は x̄ = (1/n) Σ_i x_i で計算します。サンプル共分散行列は S = 1/(n-1) Σ_i (x_i - x̄)(x_i - x̄)^T で得られます。S の対角要素は Var(X_i) の標本推定量、協調する非対角要素は Cov(X_i, X_j) の標本推定量です。

簡単な例で見る仕組み

ここでは 2 次元のデータを用いたとても簡単な例を考えます。データ点は次の三点です：x1 = (0, 0)、x2 = (1, 1)、x3 = (2, 2) とします。平均ベクトルは x̄ = (1, 1) です。各点の中心化成分は d1 = (-1, -1)、d2 = (0, 0)、d3 = (1, 1) となります。これらの外積を足し合わせて 1/(n-1) で割ると、次のサンプル共分散行列 S が得られます。

<th>項

値
データ点	x1, x2, x3
平均ベクトル	x̄ = (1, 1)
データの中心化	d1 = (-1, -1)、d2 = (0,0)、d3 = (1,1)
S の計算	S = 1/2 [(d1)(d1)^T + (d2)(d2)^T + (d3)(d3)^T] = [[1, 1], [1, 1]]

ポイント：分散共分散行列は対称であり、各対角成分が分散、非対角成分が共分散を表します。対称性と正定値性はデータの性質上自然に現れます。

使われる場面と注意点

分散共分散行列は機械学習の多変量データ処理、データの前処理、主成分分析（PCA）などで頻繁に使われます。次元が増えると行列のサイズも大きくなるため、計算量や数値の安定性にも気をつける必要があります。

固有値と固有ベクトルの直感

分散共分散行列の固有値と固有ベクトルは、データが最も広がる方向とその広がりの大きさを直感的に教えてくれます。大きな固有値に対応する固有ベクトルは、データの“主成分”と呼ばれる方向を示します。この考えは PCA の根幹です。

まとめ

分散共分散行列・とは複数の変数のばらつきと相関を一つの表にまとめたものです。母集団の分布を直接知るのが難しい場合にはサンプル共分散行列を用いて推定します。この考え方を理解すると、多変量データを扱うときの基礎がしっかり身につきます。

分散共分散行列の同意語

共分散行列: 複数の変数間の共分散を格納する正方行列。対角成分は各変数の分散、非対角成分は変数間の共分散を表します。
分散共分散行列: 分散と共分散を一つの正方行列にまとめた表現。対角成分が分散、非対角成分が共分散を示します。
共分散マトリクス: 共分散行列の別表現。日本語では“行列”よりも“マトリクス”と呼ばれることもあります。
分散-共分散行列: 分散と共分散をハイフンでつなぐ表記。意味は共分散行列と同じ。
分散・共分散行列: 分散と共分散を同時に表す行列の別表現。基本的な意味は同じ。
共分散を表す行列: この行列の各要素が2つの変数間の共分散を表します。
共分散を格納する行列: 共分散の値を格納しておくデータ構造として用いられる表現。
多変量正規分布の共分散行列: 多変量データの分散と共分散をまとめた行列のこと。多変量正規分布の特徴量として重要です。

分散共分散行列の対義語・反対語

完全独立性: 分布するすべての変数が互いに独立である状態。すべての共分散が0になるため、分散共分散行列は対角行列となり、対角成分が各変数の分散、非対角成分が0になる。
無相関性: 変数間の相関が0である状態。共分散が0のケースを含みますが、独立とは限りません。分散共分散行列は非対角成分が0になることが多く、対角成分には各変数の分散が並ぶ。
ゼロ分散行列: すべての変数が定数で、分散が0、結果として共分散も0になる極端なケース。現実にはほとんど起こりませんが、対比として理解しやすいです。
対角型分散共分散行列: 非対角成分が0の分散共分散行列。変数間に線形関係がなく、各変数の分散だけが表れる形で、無相関の特別な現れ方といえます。
ゼロ共分散: 変数間の共分散が0である状態。全ての変数間で0の共分散が成立する場合もあり、独立を意味するとは限りません。

分散共分散行列の共起語

分散: データが平均からどれくらい散らばっているかを示す指標。分散共分散行列の対角成分として現れる。
共分散: 二つの変数が同時にどれだけ変動するかを表す指標。正の値は同じ方向、負の値は逆方向の変動を示す。
行列: データを縦横に並べた表。分散共分散行列は正方行列。
分散共分散行列: データの分散と変数間の共分散を並べた正方行列（Σ）。
対称性: 分散共分散行列は転置しても同じ値になる性質（左右対称）。
半正定値性: 分散共分散行列は全ての非零ベクトルに対してベクトルの二乗和が非負になる性質（一般には半正定値）。
正定値性: ゼロ以外のベクトルに対して常に正の値になる性質。分散共分散行列は場合により正定値になることもある。
標準偏差: 分散の平方根。データのばらつきを直感的に示す指標。
相関行列: 各変数を標準化して作る行列。変数間の線形関係の強さを0〜1で比較できる。
相関係数: 二変数間の相関の度合いを示す値。-1 から 1 の範囲。
標準化: データを平均0、分散1に変換する前処理。相関の計算に役立つ。
サンプル共分散行列: 観測データから推定される共分散行列。よく用いられる推定値。
母集団共分散行列: 母集団全体の真の共分散を表す理論値。
固有値/固有ベクトル: 行列を特徴づけるスカラーとベクトル。分散共分散行列の重要な性質を表す。
固有値分解: 行列を固有値と固有ベクトルへ分解する手法。PCA 等で用いられる。
主成分分析 (PCA): データの分散が最大になる方向を見つけ、次元削減を行う手法。
データ行列: 観測データをまとめた行列（例: 各行がサンプル、各列が変数）。
サンプル数/変数数: n はサンプル数、p は変数の数。共分散行列は p×p のサイズになることが多い。
対角成分: 各変数の分散を表す要素。
非対角成分: 異なる変数間の共分散を表す要素。
逆行列: 正定値・半正定値性が確保されていれば共分散行列の逆行列が存在することがある。
行列式: 行列の大きさを表す値。分散共分散行列が非特異である条件に関係。
推定法/最尤推定: 分散共分散をデータから推定する一般的な方法。
不偏推定: 推定値の期待値が真の値と一致する性質。
正規分布/多変量正規分布: 分散共分散行列が決定する分布形。
自己共分散行列: 時系列データで遅れを考慮した共分散を表す行列。特にラグ0は分散と等しい。
次元削減/データの圧縮: 分散情報を保ちつつデータ量を減らすための処理。PCA が代表例。

分散共分散行列の関連用語

分散共分散行列: データの各特徴量の分散と特徴量間の共分散を並べた正方行列。サイズは特徴量の数 p × p。対称で半正定値で、対角成分が各特徴量の分散、非対角成分が特徴量間の共分散を表します。
分散: データのばらつき具合を表す指標。1変数なら var(X) = E[(X−E[X])^2]。分散が大きいほどデータは広がり、小さいほど狭くなります。共分散行列の対角成分にあたります。
共分散: 2つの変数の同時変動の程度を表す指標。cov(X,Y) = E[(X−E[X])(Y−E[Y])]。正の値なら同じ方向に変動し、負の値なら逆方向に変動します。
相関行列: 共分散を標準化して作る行列。各要素は相関係数ρ(X_i, X_j)で、主対角は1、値は-1から1の範囲。データのスケールに左右されず比較しやすくなります。
相関係数: 2変数間の線形関係の強さを-1から1の値で表す指標。ρ = cov(X,Y) / (σ_X σ_Y)。1に近いほど正の強い直線関係、-1に近いほど負の直線関係を表します。
多変量正規分布: p変数の正規分布で、平均ベクトルμと共分散行列Σをパラメータに持つ分布。Σはデータのばらつきと相関の構造を決めます。
正規分布: 1変量のベル型の分布。平均と分散で形が決まり、多くの統計法の前提となる基本的な分布です。
固有値・固有ベクトル: 共分散行列Σに対してΣv = λvとなるベクトルv（固有ベクトル）と対応するスカラーλ（固有値）。
主成分分析（PCA）: データのばらつきを最大化する方向を見つけて次元を削減する手法。主成分はΣの固有ベクトル、対応する固有値がその分散量を表します。
特異値分解（SVD）: データ行列を因子に分解する手法。データの構造を把握するのに用いられ、PCAの数値計算にも使われます。
チョレスキー分解（Cholesky decomposition）: 正定値対称行列Σを下三角行列Lとその転置L^Tの積として分解する方法。数値計算で共分散行列を扱うときに便利です。
対称性: 分散共分散行列は常に転置しても自分と同じになる対称行列です。Σ = Σ^T。
半正定値性・正定値性: すべてのベクトルvに対してv^T Σ v ≥ 0となる性質。共分散行列は通常半正定値で、データが十分に揃えば正定値になることもあります。
標本共分散行列: 観測データから推定する共分散行列。S = (1/(n−1)) (X − x̄)^T (X − x̄)。データを中心化して用います。
データの標準化と相関への変換: 各特徴量を平均0・分散1に正規化（Zスコア化）すると、共分散行列は相関行列と同じ情報を表すようになります。スケールの影響を排除します。
逆行列・精度行列: 共分散行列Σの逆行列Σ^{-1}は精度行列と呼ばれ、条件付き分布の分散などで重要です。Σが可逆な場合に限ります。
中心化: データの各特徴量から平均を引く操作。共分散を計算する前の前処理として一般的に行われます。
独立と無相関の違い: 変数が独立であれば共分散は0ですが、無相関だからといって必ず独立とは限りません。非線形な関係ではこの違いが生じます。