|
内容記述 |
本論文は, 事例データの学習に基づいて自動判定システムを効率的に構<br />築するために, 専門家とシステムのインタラクションによって, 学習用事<br />例データベースの効率的構築, 判別に有効な特徴(正確には, その内積であ<br />るカーネル)の組み合わせの選択, 高精度の判別関数の学習を平行して行<br />う能動学習手法について提案するものである.<br /> 「サポートベクターマシン」などの汎化誤差の解析に基づく近年の機<br />械学習技術の進歩により, 「機器状態」とその「診断結果」など「入力」<br />と「ラベル」とが対となったラベル付き学習用事例データベースが存在<br />すれば, 高精度の判別関数を学習することは比較的容易になっている. デ<br />ジタルカメラをはじめ各種センサと記録装置の高性能化・低廉化により, <br />機器状態などの「入力」のデータベース化は容易に行なえるようになっ<br />たが, 各「機器状態」に対する「診断結果」など各「入力」の「ラベル」<br />は, 専門家などに「ラベル付け」をしてもらう必要があるため, ラベル付<br />き学習用データベースを用意することが困難な場合が少なくない. そこ<br />で' 極力少数の入力に対するラベル付けで高精度の判別関数を学習できる<br />手法として「能動サポートベクターマシン」などの能動学習が提案され<br />ている. これは, 現在までに得られたラベルによる学習結果(判別関数) に<br />基づいて, コンピュータがデータベース中からラベル付けが有用な入力を<br />能動的に選び出し, 専門家にラベル付けをしてもらうことを繰り返すこと<br />で, ラベル付き学習用事例データベースを効率的に構築しながら高精度の<br />判別関数の学習を行なう手法である. <br />ただし, 従来の能動学習では, 通常, 判別に有効な特徴は事前にわかって<br />いるとの前提があった. しかし, 十分な事前知識がなければ, 能動学習を始<br />める前に判別に有効な特徴を選定することは本来難しい. 代表的な能動サ<br />ポートベクターマシンでは, 適切な特徴(厳密には, カーネル) が選ばれて<br />いれば非常に効率的に能動学習が進むのに, 不適切な特徴(カーネル) が選<br />ばれた場合には学習が途中で止まり, 効率的な能動学習ができなくなる. <br /> そこで本研究では, 各入力のラベルだけでなく, 判別に有効なカーネル<br />も不明な状況から出発し, 単に高精度の判別結果を得るためだけでなく, <br />判別に有効なカーネルを見極めるために専門家によるラベル付けを用い<br />る, 高速で精度の高い能動学習手法を提案する. <br /> 本研究での基本的なアプローチは, 特徴選択を一般化し高精度の判別に<br />有効なカーネルの最適な組み合わせを見つけ出す多カーネル学習の問題<br />と捉え, 多カーネル学習アルゴリズムを能動化する. 我々はまず, 代表的<br />な多カーネル学習であるサポートカーネルマシンを基本アルゴリズムと<br />して, これを能動学習化した「単純能動サポートカーネルマシン」を提案<br />する. これにより, 特徴選択(正確には. カーネルの組み合わせの選択) と<br />高精度な診断基準の構築の両者に有効な能動学習を実現する. さらに, サ<br />ポートカーネルマシンの近似解を活用することで, 最終的な判別関数の高<br />い判別精度を低下させることなく, 対話環境での単純能動サポートカーネ<br />ルマシンの応答の遅さを解決した2段階能動サポートカーネルマシンを<br />提案する. <br /> １章では本研究の背景と目的を述べる. <br /> ２ 章では, 本研究の基礎となるサポートベクターマシン, サポートカー<br />ネルマシン,能動学習とそのためのサンプリング戦略についての既存研究<br />サポートベクターマシンによる能動学習の課題である「カーネル事前選<br />択問題」について述べる. <br /> 3章では, まず「カーネル事前選択問題」解決の基本手法として, 代表<br />的多カーネル学習手法である「サポートカーネルマシン」を能動学習化<br />した「単純能動サポートカーネルマシン」を提案する. しかし, 本能動学<br />習手法は, 能動学習時に専門家とのインタラクションを行なうには, 応答<br />が遅い.これは, 単純能動サポートカーネルマシンでは' 能動学習時に, 新<br />たなラベルを取得するたびに' 最適な判別関数を再学習してラベル付け対<br />象を選択することに起因する. サポートカーネルマシンは, カーネルの組<br />み合わせの最適化も同時に行なうため判別関数の学習に計算時間を要す<br />る. この結果, 単純能動サポートカーネルマシンでは, 専門家がラベル付<br />けをしてシステムが次のラベル付け対象を専門家に提示するまでの時間<br />が掛かり過ぎる場合が生じる. <br />そこで, 能動学習段階では, (1) サポートカーネルマシンの近似解によ<br />る判別関数を用いてラベル付け対象を選択して,能動学習時の応答性を確<br />保する,(2)能動学習が終了した段階でサポートカーネルマシンを完全に<br />最適化して判別関数の判別精度の高さを確保する, というアプローチを取<br />る2 段階能動サポートカーネルマシンを提案する. <br /> さらに, このような近似を行なっても, 最適な単一のカーネルを用いた<br />サポートベクターマシンとほぼ同等の判別精度を持つ判別関数が得られ<br />ることを実験により示す. <br /> 4. 章では, 能動サポートカーネルマシンに適したサンプリング戦略の検<br />討を行う. 特にRBFカーネルはサポートベクターマシンで有効性が知ら<br />れているため, 異なる半径のRBFカーネルを用いる能動サポートカーネ<br />ルマシンについて検討を行う. そして, ラベル付け対象の選択戦略として<br />能動学習で通常用いられるマージン戦略よりも, 適切なカーネルの組み合<br />わせに, より少ないラベル付けで収束し易い戦略として, SKM-SHIFT 戦<br />略を提案する. その基本的考え方は, 最適なカーネルの組み合わせが絞り<br />込めていない初期段階では極力多様な入力に対するラベルを得てカーネ<br />ルの組み合わせの絞込みを重視するのに対して, カーネルの組み合わせが<br />最適値に近づいた後半では判定精度向上に重点を置くというものである. <br />そして, 2 段階サポートカーネルマシンとSKM-SHIFTを組み合わせた能<br />動学習手法の有効性を標準的ベンチマーク問題により示す. <br />4 章では, 実問題への適用として, 配電柱にある腕金と呼ばれる金属部材<br />の表面写真に基づく再利用判定への適用例を示す. カーネルと判別面を<br />同時に学習する能動サポートカーネルマシンの利として, SKM-SHIFT<br />により学習されたカーネルの分析から能動学習の早い段階で学習用入力<br />データの偏りを発見できたことを示す．<br /> 最後に第5 章で本論文の成果をまとめる. <br /> 本研究の最大の成果は, 従来は既知としていた判別に有効なカーネルの<br />選択を含めて能動学習を行ない, かつ, 専門家との円滑なインタラクショ<br />ンを妨げない能動学習時の高い応答性と最終的な判別関数の判別精度の<br />高さとを両立させた実用性の高い能動学習手法を開発した点にある. <br /><br />Abstract<br /><br /> In this thesis, we propose an active learning method for highly precise<br />classification which simultaneously performs efficient interactive labeling <br />of unlabeled data and the selection of a proper combination of features<br />or kernels and the learning of a precise discriminant function using the<br />combined kernels and labeled data. <br /> By recent progress of machine learning methods such as "support vector<br />machines", we can get a highly precise discriminant function relatively<br />easily if we have a labeled database composed of pairs of an "input" (such<br />as a state of an equipment) and a "label" (such as a diagnostic result).<br /> Though it becomes easier to prepare databases of , "inputs", such as<br />states of equipments, because of development of sensory and storage de-<br />vices, it is still difficult to prepare labeled databases because labels of<br />inputs, such as diagnostic results of states of equipments, are usually<br />given by human experts. To get a highly precise discriminant function<br />by labeling a smaller number of samples, active learning methods such as<br />"active support vector machines" have been proposed. In active learning, "the system first selects an unlabeled sample from the database effective<br />to learn a precise discriminant function if labeled, then a human expert<br />labels the selected sample and this process is repeated until a sufficient<br ./>number of samples are labeled. By this process, the active learning al-<br />gorithm performs both the construction of a labeled database and the<br />learning of a precise discriminant function.<br /> However, conventional active learning usually assumes that the features<br />effective for the target classification task are known in advance. But it is<br />difficult to identify such features before active learning. In case of active<br />support vector machines, if proper features or kernels are selected, the<br />learning proceeds very efficiently but if inadequate features or kernels are<br />selected, the learning process stops on the way and the effective learning<br />becomes impossible. <br /> In this study to overcome this issue of "kernel pre-selection", we propose<br />a fast and precise active learning method to use the labeling for learning<br />a precise discriminant function as well as for selecting effective features<br />or kernels.<br /> Our basic approach is to generalize feature selection as selection of a<br />combination of kernels and to treat the problem as a multi-kernel learn-<br />ing problem. We use the support kernel machines as our base multiple<br />kernel learning algorithm and propose the "basic active support kernel<br />machines" at first. To overcome the slow response of the basic support<br />kernel machines, we further propose the "two-phased support kernel ma-chines" based on approximate solutions of support kernel machines.<br /> In chapter 1, we describe our research background and objectives.<br /> In chapter 2, as bases of our study, we introduce the support vector<br />machines, the support kernel machines and active learning methods and<br />their sampling strategies. We also point out the issue of "kernel pre-<br />selection" of the active support vector machines.<br /> In chapter 3, we first propose the "basic active support kernel ma-<br />chines" which is an active learning version of a typical multiple kernel<br />learning method "support kernel machines".<br /> In the basic active support kernel machines, we re-learn the optimal<br />discriminant function every time after labeling and then select a sample<br />for labeling. Because the support kernel machine optimizes the discrim-<br />inant function as well as the combination of kernels at the same time, it<br />takes too much time to show a next labeling sample for human experts<br />after his labeling of one sample.<br /> We therefore propose the "two-phased active support kernel machines"<br />which achieves quick response in the active learning phase by selecting a<br />sample to label using the discriminant function based on an approximate<br />solution of support kernel machines, and also learns a highly precise dis-<br />criminant function by the complete optimization of the support kernel<br />machine after active learning phase.<br /> We further show experimentally that we can get discriminant functions<br />by the two-phased active support kernel machines as precise as the ones<br />of the support kernel machines using the best single kernels.<br /> In chapter 4, we investigate the sampling strategy for active support<br />kernel machines using RBF kernels which are known to be effective in<br />case of support vector machines.<br /> For the active support kernel machines using RBF kernels with dif-<br />ferent diameters, we propose the "SKM-SHIFT strategy" as a sampling<br />strategy which can learn a proper combination of kernels in fewer number<br />of labeling than the "margin strategy" typically used in active learning<br />methods. It emphasizes to narrow down the combination of kernels by<br />getting labels of mutually dissimilar samples in the initial phase, and<br />emphasizes to improve the precision of discriminant function after the<br />combination of kernels approaches to the optimal. We show the effective-<br />ness of the combination of the two-phased active support kernel machines<br />and the SKM-SHIFT strategy using a standard benchmark problem.<br /> In chapter 5, as an application to a real problem, we apply our active<br />learning algorithm to the problem to judge whether a metal equipment<br />attached to electric poles to reuse or not based on its surface image. We<br />show that a bias of input images can be found by analyzing the learned<br />combination of kernels. It is the effect of the active learning method<br />which learns a discrimination function and a combination of kernels si-<br />multaneously.<br /> In chapter 6, we summarize our results in this thesis.<br /> The most contribution of this study is that we relax the assumption that<br />the kernels effective to the target classification are known in advance and<br />develop an active learning method which can select an effective combina-<br />tion of kernels and which achieves quick response for smooth interaction<br />with human experts in active learning phase and high precision of learned<br />discriminant functions simultaneously.<br /> |
要旨・審査要旨 (366.7 kB)
