力学系学習木

力学系学習木は,金研究室が開発した機械学習の一手法です.
機械学習とは,人間と同様の学習能力を計算機上で実現させる手法のことです.
機械学習が扱う問題は,教師あり学習と教師なし学習に大別できます.
教師あり学習とは,入力ベクトルと入力ベクトルに対する出力ベクトルとの組を学習することで
未知の入力ベクトルが与えられたときにそれに対する出力ベクトルを予測する問題のことです.
なお,そのような入力ベクトルと出力ベクトルの組を訓練データ(=教師データ)と呼びます.
例えば,手書き文字画像(=入力ベクトル)とその画像に書かれている文字(=出力ベクトル)から成る訓練データを学習することで,
未知の手書き文字画像が与えられたときにその画像に書かれている文字を判別する問題は,教師あり学習です.
力学系学習木は,「入力ベクトルと出力ベクトルとの関係が非線形かつ連続である非線形連続関数」である教師あり学習問題を解決する手法です.
また,逐次学習と追加学習が可能です.

図1.教師あり学習

学習

次のプロセスを行うことで訓練データを学習します.
入力ベクトルを要素とする入力空間(図2の左)を定め,訓練データの入力ベクトル(図2の緑三角)により入力空間を階層的に小さな部分空間へと分割し,
部分空間を木構造のノードに代表させます.
また,部分空間内の入力ベクトルに対する出力ベクトルの平均を,訓練データの出力ベクトルにより学習します.
このように,各部分空間内の入力ベクトルに対する出力ベクトルの平均を各ノード(図2の青円)に学習させることで,
入力空間内の入力ベクトルに対する出力ベクトルを学習します.


図2.学習

予測

次のプロセスによって,入力ベクトルに対する出力ベクトルを予測します.
未知の入力ベクトル(図3の緑三角)が代表する部分空間内に存在するノードを木構造から探索し,探索されたノード群(図3の青円)からノードを一つ選択します.
この選択方法には,「最下層ノード選択法」と「最小誤差ノード選択法」があり,
それぞれの選択方法を用いた予測アルゴリズムを「従来予測」と「誤差ベース予測」と呼んでいます.
最下層ノード選択法は文字通り,ノード群で最も深いノードを選択します.
つまり,図3の紫円で囲ったノードを選択します.
一方で,最小誤差ノード選択法は,「ノードが学習した平均出力ベクトル」と「訓練データの出力ベクトル」との誤差\(e\)を用いた手法です.
そして,ノード群で\(e\)が最も小さいノードを選択します.
従って,図3の赤円で囲ったノードを選択します.


図3.従来予測と誤差ベース予測