カーネル回帰とは？初心者でも分かる基本ガイド共起語・同意語・対義語も併せて解説！

この記事を書いた人

高岡智則

年齢：33歳性別：男性職業：Webディレクター（兼ライティング・SNS運用担当）居住地：東京都杉並区・永福町の1LDKマンション出身地：神奈川県川崎市身長：176cm 体系：細身〜普通（最近ちょっとお腹が気になる）血液型：A型誕生日：1992年11月20日最終学歴：明治大学・情報コミュニケーション学部卒通勤：京王井の頭線で渋谷まで（通勤20分）家族構成：一人暮らし、実家には両親と2歳下の妹恋愛事情：独身。彼女は2年いない（本人は「忙しいだけ」と言い張る）

カーネル回帰とは

データの x と y があり、x に対して y の関係を予測したいときに使う方法が カーネル回帰 です。ここで重要なのは「決まった式の形を仮定しない」点です。カーネル回帰 は近くのデータ点を重視して y の値を予測します。柔軟性があり、データの形に合わせて曲線を描くことができます。

使い方のイメージとしては、ある地点 x0 に着目します。x0 に近いデータ点ほど y の情報を多く使い、遠い点の影響は少なくします。近さの度合いはカーネル関数と呼ばれる関数で決まります。代表的なカーネルにはガウス型やエパネチコフ型などがあります。

仕組みと式のイメージ

あるデータ集合が x1, x2, ..., xn と対応する y1, y2, ..., yn の場合、x0 での予測値 y_hat は次のように求めます。y_hat(x0) = sum w_i y_i / sum w_i。ここで w_i は w_i = K((x_i - x0)/h) によって決まる重みです。K はカーネル関数、h は帯域幅と呼ばれるパラメータです。

帯域幅 h が小さすぎると近い点だけを強く参照するためノイズに敏感になり、曲線が細かく波打ちやすくなります。逆に h が大きいと多くの点を平均して滑らかな曲線になります。最適な h の選び方はデータや目的によって変わり、交差検証や経験則によって決めます。

カーネル回帰の形は自由度が高く、実装上は K の形を変えることで様々な挙動を試せます。代表的なカーネルとしてガウス型は滑らかで尾が長く、エパネチコフ型は局所性が強い特徴があります。ほかにも三角形型や一様型などがあり、用途によって使い分けます。

表: 代表的なカーネルと特徴

<th>カーネルの名前

特徴
ガウス型	滑らかな曲線で尾が長い。近くの点を重視する範囲が広い
エパネチコフ型	平均二乗誤差を抑えやすい。尾が短く局所性が強い
三角形型	シンプルで計算が軽い。局所性は中程度
一様型	一定の範囲内の点だけを使う。境界での影響が大きい

カーネル回帰の使い方の流れ

1. データを用意します。x と y の対が n 組あり、予測したい x0 を決めます。

2. x0 に対して w_i を計算します。w_i は K((x_i - x0)/h) で決まります。

3. y_hat(x0) を計算します。y_hat(x0) = sum w_i y_i / sum w_i です。

4. 帯域幅 h や K の形を変えながら他の x0 について予測を繰り返します。

実務でのコツと注意点

帯域幅の選択 はとても大切です。小さすぎるとノイズに敏感で局所的な変動を過剰に拾ってしまい、逆に大きすぎると細かい特徴を見逃してしまいます。データの規模や目的に合わせていくつかの h を試して検証することが大切です。

計算量は naively だと O(n^2) 程度になることが多いですが、データの大きさが増えると工夫が必要です。近傍探索アルゴリズムを使ったり、データを適切に前処理して計算を軽くする方法があります。

実務での使い方のコツとしては、まずデータを x で標準化してから適切な h を探すこと、そして目的の評価指標で性能を比較することです。非線形な関係を捉えたい場合に カーネル回帰 は有力な選択肢になります。

実践の小さな例

想像しやすい例として、x が連続的に増えるデータに対して y がどのように変化するかを カーネル回帰 で予測します。データ点が数十個程度ある場合、x0 に近い点ほど重みが大きくなるため局所的な傾向を自然に反映します。ガウス型の K を使い h を少しずつ変えてみると、滑らかさの程度を直感的に確かめることができます。実務ではこの観察をもとに最適な h を選び、検証データで性能を確かめます。

この手法はNadaraya Watson 推定量と呼ばれることもあり、非線形な関係を柔軟に表現できる点が魅力です。学習データの分布やノイズの特性に合わせて K の形と帯域幅を選ぶことで、過剰適合を避けつつ実用的な予測を得ることができます。

カーネル回帰の同意語

カーネル回帰: データの周囲でカーネル関数を用いて局所的に重みづけを行い、入力と出力の関係を滑らかな曲線で推定する非パラメトリック回帰の代表的手法。Nadaraya–Watson推定量などが具体的な実装例。
カーネル法による回帰: カーネル関数を使って入力を高次元の特徴空間に写像し、線形な手法で非線形関係を捉える回帰手法の総称。カーネル回帰はこの枠組みの一手法。
核回帰: カーネル回帰の日本語表現として使われることがある語。文脈によって同義に用いられることがある。
カーネル回帰分析: データの関係をカーネル法を用いて回帰モデルとして推定する分析手法。Nadaraya–Watson推定量などの具体的な実装が含まれる。
ナダラヤ＝ワトソン回帰: Nadaraya–Watson推定量を用いた局所加重回帰を指す表現。カーネル回帰の代表的な具体例として挙げられる名称。
ナダラヤ–ワトソン推定量を用いた回帰: Nadaraya–Watson推定量を用いてデータの局所的な重み付き平均から回帰曲線を推定する手法を指す表現。

カーネル回帰の対義語・反対語

パラメトリック回帰: データを説明する関数の形を事前に仮定する回帰手法。典型例は y = θ0 + θ1 x のような線形・多項式形式。カーネル回帰のようにデータから柔軟に関数を推定するのではなく、決められた式でモデルを作ります。
線形回帰: 最も基本的なパラメトリック回帰。入力 x と出力 y の関係を直線で表します。カーネル回帰が非線形にも対応できるのに対し、線形回帰は直線的な関係に限定されます。
多項式回帰: データの関係を多項式の形で表現するパラメトリック回帰。曲線的な傾向を一定の次数までの式で近似します。カーネル回帰の局所的・非パラメトリック推定とは異なる前提です。
グローバル回帰モデル: データ全体に対して1つの回帰式を適用して関係を表現するモデル。局所的な推定を行うカーネル回帰と対比される、全体を一つの式で捉えるアプローチです。

カーネル回帰の共起語

ノンパラメトリック回帰: パラメトリックなモデル形状を仮定せず、データに柔軟に適合する回帰手法。カーネル回帰はその代表例。
カーネル関数: データ点の近さを重み付けする関数。距離の近い点ほど影響を大きくする。
帯域幅: カーネルの影響範囲を決めるパラメータ。帯域幅が大きいと平滑、小さいと局所的。
帯域幅選択: 最適な帯域幅を決定する方法。交差検証やプラグイン法などがある。
Nadaraya-Watson推定量: 観測点と近傍のデータ点のy値の帯域内加重平均をとって回帰値を推定する代表的な推定量。
局所線形回帰: 局所領域で線形モデルを適用して回帰曲線を作る。滑らかさと局所適合のバランスをとる。
局所多項式回帰: 局所的に多項式近似する回帰。LOESS/LOWESSの考え方に近い。
ローカル加重回帰: 近傍点にカーネル重みを掛けて回帰を行う総称。
カーネル平滑化: データを滑らかに平滑化して回帰曲線を得る手法。
ガウスカーネル: 最も一般的なカーネル関数の一つ。正規分布に基づく重み付け。
Epanechnikovカーネル: 広く使われる二次型のカーネル。計算効率と統計性のバランスが良い。
Triangularカーネル: 三角形の重みを与えるカーネル。
Uniformカーネル: 一定の重みを等しく与えるカーネル。
カーネル密度推定: データの分布をカーネルを使って推定する非パラメトリック密度推定。回帰とは別の用途だが共通のカーネル概念。
クロスバリデーション: 帯域幅の選択を評価・最適化するための検証法。
プラグイン法: 事前の分布情報を使って帯域幅を決定する推定法。
バイアス-分散トレードオフ: 帯域幅を変えると推定値の偏り（バイアス）とばらつき（分散）のバランスが変化する考え方。
次元の呪い: 高次元データでは近傍のデータが希薄になり、カーネル回帰の推定が難しくなる問題。
カーネル重み: 各データ点に割り当てられる重み。カーネル関数に基づいて決まる。
近傍点: 回帰推定に影響を与える、推定点の周囲のデータ点の集合。
スムージングパラメータ: 平滑さの程度を決めるパラメータの総称（帯域幅を含む）。
正規化された重み: 重みの総和を1にするように調整して平均を取る手法。

カーネル回帰の関連用語

カーネル回帰: データ点の周囲のデータに重みを付けて局所的に回帰関数を推定する非パラメトリックな回帰手法です。ナダラヤ-ワトソン推定量や局所加重回帰の形で用いられ、滑らかな曲線を得やすいのが特徴です。
カーネル関数: データ点同士の距離に基づいて重みを割り当てる関数。カーネル回帰の核心で、バンド幅や次の核の選択で滑らかさが決まります。代表例にはガウス核、エパネチニコフ核、三角核などがあります。
ガウス核: Gaussian kernel。k(x, x_i) = exp(-||x - x_i||^2 / (2 h^2)) の形で、連続的で滑らかな重みを付けます。局所回帰で最もよく使われる核の一つです。
ラジアル基底関数核: RBF kernel。k(x, x_i) = exp(-γ||x - x_i||^2) の形。ガウス核と同様に非線形な特徴空間を暗黙のうちに扱うことができます。
エパネチニコフ核: Epanechnikov kernel。重みが0を超える区間内で二次関数により決まる核。計算効率が良く、統計でよく用いられます。
一様核: Uniform kernel。距離が一定の範囲内のデータ点に等しい重みを与える核。
三角核: Triangular kernel。距離に応じて線形に減衰する重みを付与します。
多項式核: Polynomial kernel。k(x, y) = (γ x^T y + r)^d の形で、非線形な特徴を多項式的に取り込みます。
シグモイド核: Sigmoid kernel。k(x, y) = tanh(κ x^T y + c) の形。SVMなどで用いられますが回帰にも使用されます。
ナダラヤ-ワトソン推定量: kernel回帰の基本形。f̂(x) = Σ_i K((x - x_i)/h) y_i / Σ_i K((x - x_i)/h)。近傍データの加重平均として回帰関数を推定します。
局所回帰: 局所加重回帰とも呼ばれ、ある点の周りのデータを重み付きで局所的に回帰する手法。
局所線形回帰: 局所線形回帰は近傍データを用いて局所的に線形モデルを適合させ、端点バイアスを緩和します。
LOESS / LOWESS: LOcally Estimated Scatterplot Smoothing の略。局所多項式回帰の実装で、観測点ごとに重みを付けて滑らかな曲線を描きます。
局所多項式回帰: 局所的に多項式モデルをフィットさせる回帰。階数pの局所多項式でf̂(x)を推定します。
バンド幅: カーネルの滑らかさを決めるパラメータ。小さいと細部に敏感だがノイズが増え、大きいと滑らかすぎて情報を欠く可能性があります。
バンド幅選択: 適切なバンド幅を決める方法。交差検証、プラグイン法、ルールオブサム（ROT）などがあります。
交差検証: モデルの性能を評価するための検証手法。バンド幅選択にも用いられ、過学習を防ぐ役割があります。
シルバーマンの規則: Silverman's rule。カーネル密度推定や回帰のバンド幅の初期推定に用いられる経験則です。
Kernel Ridge Regression: カーネルを用いたリッジ回帰。λを正則化として加え、K + λIを解くことで推定を得ます。非線形性はカーネルで扱います。
カーネルトリック: 高次元の特徴空間を明示的に計算せず、カーネル関数を用いて内積を計算するテクニック。SVMやKernel PCAで活用されます。
Kernel PCA: カーネルを用いた非線形主成分分析。データの非線形構造を捉えるための次元削減手法です。
カーネル密度推定: Kernel Density Estimation。非パラメトリックにデータの確率密度を推定します。カーネル関数とバンド幅が重要です。
非パラメトリック回帰: パラメトリックな形に仮定せずにデータを近似する回帰。カーネル回帰は典型的な非パラメトリック手法の一つです。
ウェイト付き最小二乗法: Weighted Least Squares。局所回帰でよく用いられ、データ点に重みを付けて最適化します。
カーネル行列: Kernel matrix（Gram matrix）。K_ij = k(x_i, x_j) の対称行列で、カーネル法の計算で中心的に使われます。
端点バイアス: 局所回帰における端点周辺の推定で生じやすい偏り。局所線形回帰やLOESSで緩和されることがあります。
次元の呪い: 高次元データでの推定が難しくなる現象。カーネル法でもデータ量と次元の関係で計算負荷が増えやすい。
回帰評価指標: Mean Squared Error（MSE）、Root Mean Squared Error（RMSE）、Mean Absolute Error（MAE）など、回帰の予測精度を評価する指標。
局所回帰の重み関数: 核関数に対応する重み付けの仕組み。近いデータ点ほど大きな重みを与え、遠い点は小さな重みになります。