{"_buckets": {"deposit": "ca6d04a0-ea21-4134-ad18-19d16345d458"}, "_deposit": {"created_by": 1, "id": "874", "owners": [1], "pid": {"revision_id": 0, "type": "depid", "value": "874"}, "status": "published"}, "_oai": {"id": "oai:ir.soken.ac.jp:00000874", "sets": ["19"]}, "author_link": ["0", "0", "0"], "item_1_biblio_info_21": {"attribute_name": "書誌情報（ソート用）", "attribute_value_mlt": [{"bibliographicIssueDates": {"bibliographicIssueDate": "2008-09-30", "bibliographicIssueDateType": "Issued"}, "bibliographic_titles": [{}]}]}, "item_1_creator_2": {"attribute_name": "著者名", "attribute_type": "creator", "attribute_value_mlt": [{"creatorNames": [{"creatorName": "篠原, 靖志"}], "nameIdentifiers": [{"nameIdentifier": "0", "nameIdentifierScheme": "WEKO"}]}]}, "item_1_creator_3": {"attribute_name": "フリガナ", "attribute_type": "creator", "attribute_value_mlt": [{"creatorNames": [{"creatorName": "シノハラ, ヤスシ"}], "nameIdentifiers": [{"nameIdentifier": "0", "nameIdentifierScheme": "WEKO"}]}]}, "item_1_date_granted_11": {"attribute_name": "学位授与年月日", "attribute_value_mlt": [{"subitem_dategranted": "2008-09-30"}]}, "item_1_degree_grantor_5": {"attribute_name": "学位授与機関", "attribute_value_mlt": [{"subitem_degreegrantor": [{"subitem_degreegrantor_name": "総合研究大学院大学"}]}]}, "item_1_degree_name_6": {"attribute_name": "学位名", "attribute_value_mlt": [{"subitem_degreename": "博士（情報学）"}]}, "item_1_description_1": {"attribute_name": "ID", "attribute_value_mlt": [{"subitem_description": "2008518", "subitem_description_type": "Other"}]}, "item_1_description_12": {"attribute_name": "要旨", "attribute_value_mlt": [{"subitem_description": "　本論文は, 事例データの学習に基づいて自動判定システムを効率的に構\u003cbr /\u003e築するために, 専門家とシステムのインタラクションによって, 学習用事\u003cbr /\u003e例データベースの効率的構築, 判別に有効な特徴(正確には, その内積であ\u003cbr /\u003eるカーネル)の組み合わせの選択, 高精度の判別関数の学習を平行して行\u003cbr /\u003eう能動学習手法について提案するものである.\u003cbr /\u003e　「サポートベクターマシン」などの汎化誤差の解析に基づく近年の機\u003cbr /\u003e械学習技術の進歩により, 「機器状態」とその「診断結果」など「入力」\u003cbr /\u003eと「ラベル」とが対となったラベル付き学習用事例データベースが存在\u003cbr /\u003eすれば, 高精度の判別関数を学習することは比較的容易になっている. デ\u003cbr /\u003eジタルカメラをはじめ各種センサと記録装置の高性能化・低廉化により, \u003cbr /\u003e機器状態などの「入力」のデータベース化は容易に行なえるようになっ\u003cbr /\u003eたが, 各「機器状態」に対する「診断結果」など各「入力」の「ラベル」\u003cbr /\u003eは, 専門家などに「ラベル付け」をしてもらう必要があるため, ラベル付\u003cbr /\u003eき学習用データベースを用意することが困難な場合が少なくない. そこ\u003cbr /\u003eで\u0027 極力少数の入力に対するラベル付けで高精度の判別関数を学習できる\u003cbr /\u003e手法として「能動サポートベクターマシン」などの能動学習が提案され\u003cbr /\u003eている. これは, 現在までに得られたラベルによる学習結果(判別関数) に\u003cbr /\u003e基づいて, コンピュータがデータベース中からラベル付けが有用な入力を\u003cbr /\u003e能動的に選び出し, 専門家にラベル付けをしてもらうことを繰り返すこと\u003cbr /\u003eで, ラベル付き学習用事例データベースを効率的に構築しながら高精度の\u003cbr /\u003e判別関数の学習を行なう手法である. \u003cbr /\u003eただし, 従来の能動学習では, 通常, 判別に有効な特徴は事前にわかって\u003cbr /\u003eいるとの前提があった. しかし, 十分な事前知識がなければ, 能動学習を始\u003cbr /\u003eめる前に判別に有効な特徴を選定することは本来難しい. 代表的な能動サ\u003cbr /\u003eポートベクターマシンでは, 適切な特徴(厳密には, カーネル) が選ばれて\u003cbr /\u003eいれば非常に効率的に能動学習が進むのに, 不適切な特徴(カーネル) が選\u003cbr /\u003eばれた場合には学習が途中で止まり, 効率的な能動学習ができなくなる. \u003cbr /\u003e　そこで本研究では, 各入力のラベルだけでなく, 判別に有効なカーネル\u003cbr /\u003eも不明な状況から出発し, 単に高精度の判別結果を得るためだけでなく, \u003cbr /\u003e判別に有効なカーネルを見極めるために専門家によるラベル付けを用い\u003cbr /\u003eる, 高速で精度の高い能動学習手法を提案する. \u003cbr /\u003e　本研究での基本的なアプローチは, 特徴選択を一般化し高精度の判別に\u003cbr /\u003e有効なカーネルの最適な組み合わせを見つけ出す多カーネル学習の問題\u003cbr /\u003eと捉え, 多カーネル学習アルゴリズムを能動化する. 我々はまず, 代表的\u003cbr /\u003eな多カーネル学習であるサポートカーネルマシンを基本アルゴリズムと\u003cbr /\u003eして, これを能動学習化した「単純能動サポートカーネルマシン」を提案\u003cbr /\u003eする. これにより, 特徴選択(正確には. カーネルの組み合わせの選択) と\u003cbr /\u003e高精度な診断基準の構築の両者に有効な能動学習を実現する. さらに, サ\u003cbr /\u003eポートカーネルマシンの近似解を活用することで, 最終的な判別関数の高\u003cbr /\u003eい判別精度を低下させることなく, 対話環境での単純能動サポートカーネ\u003cbr /\u003eルマシンの応答の遅さを解決した2段階能動サポートカーネルマシンを\u003cbr /\u003e提案する. \u003cbr /\u003e　　　１章では本研究の背景と目的を述べる. \u003cbr /\u003e　　　２ 章では, 本研究の基礎となるサポートベクターマシン, サポートカー\u003cbr /\u003eネルマシン,能動学習とそのためのサンプリング戦略についての既存研究\u003cbr /\u003eサポートベクターマシンによる能動学習の課題である「カーネル事前選\u003cbr /\u003e択問題」について述べる. \u003cbr /\u003e　3章では, まず「カーネル事前選択問題」解決の基本手法として, 代表\u003cbr /\u003e的多カーネル学習手法である「サポートカーネルマシン」を能動学習化\u003cbr /\u003eした「単純能動サポートカーネルマシン」を提案する. しかし, 本能動学\u003cbr /\u003e習手法は, 能動学習時に専門家とのインタラクションを行なうには, 応答\u003cbr /\u003eが遅い.これは, 単純能動サポートカーネルマシンでは\u0027 能動学習時に, 新\u003cbr /\u003eたなラベルを取得するたびに\u0027 最適な判別関数を再学習してラベル付け対\u003cbr /\u003e象を選択することに起因する. サポートカーネルマシンは, カーネルの組\u003cbr /\u003eみ合わせの最適化も同時に行なうため判別関数の学習に計算時間を要す\u003cbr /\u003eる. この結果, 単純能動サポートカーネルマシンでは, 専門家がラベル付\u003cbr /\u003eけをしてシステムが次のラベル付け対象を専門家に提示するまでの時間\u003cbr /\u003eが掛かり過ぎる場合が生じる. \u003cbr /\u003eそこで, 能動学習段階では, (1) サポートカーネルマシンの近似解によ\u003cbr /\u003eる判別関数を用いてラベル付け対象を選択して,能動学習時の応答性を確\u003cbr /\u003e保する,(2)能動学習が終了した段階でサポートカーネルマシンを完全に\u003cbr /\u003e最適化して判別関数の判別精度の高さを確保する, というアプローチを取\u003cbr /\u003eる2 段階能動サポートカーネルマシンを提案する. \u003cbr /\u003e　さらに, このような近似を行なっても, 最適な単一のカーネルを用いた\u003cbr /\u003eサポートベクターマシンとほぼ同等の判別精度を持つ判別関数が得られ\u003cbr /\u003eることを実験により示す. \u003cbr /\u003e　4. 章では, 能動サポートカーネルマシンに適したサンプリング戦略の検\u003cbr /\u003e討を行う. 特にRBFカーネルはサポートベクターマシンで有効性が知ら\u003cbr /\u003eれているため, 異なる半径のRBFカーネルを用いる能動サポートカーネ\u003cbr /\u003eルマシンについて検討を行う. そして, ラベル付け対象の選択戦略として\u003cbr /\u003e能動学習で通常用いられるマージン戦略よりも, 適切なカーネルの組み合\u003cbr /\u003eわせに, より少ないラベル付けで収束し易い戦略として, SKM-SHIFT 戦\u003cbr /\u003e略を提案する. その基本的考え方は, 最適なカーネルの組み合わせが絞り\u003cbr /\u003e込めていない初期段階では極力多様な入力に対するラベルを得てカーネ\u003cbr /\u003eルの組み合わせの絞込みを重視するのに対して, カーネルの組み合わせが\u003cbr /\u003e最適値に近づいた後半では判定精度向上に重点を置くというものである. \u003cbr /\u003eそして, 2 段階サポートカーネルマシンとSKM-SHIFTを組み合わせた能\u003cbr /\u003e動学習手法の有効性を標準的ベンチマーク問題により示す. \u003cbr /\u003e4 章では, 実問題への適用として, 配電柱にある腕金と呼ばれる金属部材\u003cbr /\u003eの表面写真に基づく再利用判定への適用例を示す. カーネルと判別面を\u003cbr /\u003e同時に学習する能動サポートカーネルマシンの利として, SKM-SHIFT\u003cbr /\u003eにより学習されたカーネルの分析から能動学習の早い段階で学習用入力\u003cbr /\u003eデータの偏りを発見できたことを示す．\u003cbr /\u003e　最後に第5 章で本論文の成果をまとめる. \u003cbr /\u003e　本研究の最大の成果は, 従来は既知としていた判別に有効なカーネルの\u003cbr /\u003e選択を含めて能動学習を行ない, かつ, 専門家との円滑なインタラクショ\u003cbr /\u003eンを妨げない能動学習時の高い応答性と最終的な判別関数の判別精度の\u003cbr /\u003e高さとを両立させた実用性の高い能動学習手法を開発した点にある. \u003cbr /\u003e\u003cbr /\u003eAbstract\u003cbr /\u003e\u003cbr /\u003e　In this thesis, we propose an active learning method for highly precise\u003cbr /\u003eclassification which simultaneously performs efficient interactive labeling \u003cbr /\u003eof unlabeled data and the selection of a proper combination of features\u003cbr /\u003eor kernels and the learning of a precise discriminant function using the\u003cbr /\u003ecombined kernels and labeled data. \u003cbr /\u003e　By recent progress of machine learning methods such as \"support vector\u003cbr /\u003emachines\", we can get a highly precise discriminant function relatively\u003cbr /\u003eeasily if we have a labeled database composed of pairs of an \"input\" (such\u003cbr /\u003eas a state of an equipment) and a \"label\" (such as a diagnostic result).\u003cbr /\u003e　Though it becomes easier to prepare databases of , \"inputs\", such as\u003cbr /\u003estates of equipments, because of development of sensory and storage de-\u003cbr /\u003evices, it is still difficult to prepare labeled databases because labels of\u003cbr /\u003einputs, such as diagnostic results of states of equipments, are usually\u003cbr /\u003egiven by human experts. To get a highly precise discriminant function\u003cbr /\u003eby labeling a smaller number of samples, active learning methods such as\u003cbr /\u003e\"active support vector machines\" have been proposed. In active learning, \"the system first selects an unlabeled sample from the database effective\u003cbr /\u003eto learn a precise discriminant function if labeled, then a human expert\u003cbr /\u003elabels the selected sample and this process is repeated until a sufficient\u003cbr ./\u003enumber of samples are labeled. By this process, the active learning al-\u003cbr /\u003egorithm performs both the construction of a labeled database and the\u003cbr /\u003elearning of a precise discriminant function.\u003cbr /\u003e　However, conventional active learning usually assumes that the features\u003cbr /\u003eeffective for the target classification task are known in advance. But it is\u003cbr /\u003edifficult to identify such features before active learning. In case of active\u003cbr /\u003esupport vector machines, if proper features or kernels are selected, the\u003cbr /\u003elearning proceeds very efficiently but if inadequate features or kernels are\u003cbr /\u003eselected, the learning process stops on the way and the effective learning\u003cbr /\u003ebecomes impossible. \u003cbr /\u003e　In this study to overcome this issue of \"kernel pre-selection\", we propose\u003cbr /\u003ea fast and precise active learning method to use the labeling for learning\u003cbr /\u003ea precise discriminant function as well as for selecting effective features\u003cbr /\u003eor kernels.\u003cbr /\u003e　Our basic approach is to generalize feature selection as selection of a\u003cbr /\u003ecombination of kernels and to treat the problem as a multi-kernel learn-\u003cbr /\u003eing problem. We use the support kernel machines as our base multiple\u003cbr /\u003ekernel learning algorithm and propose the \"basic active support kernel\u003cbr /\u003emachines\" at first. To overcome the slow response of the basic support\u003cbr /\u003ekernel machines, we further propose the \"two-phased support kernel ma-chines\" based on approximate solutions of support kernel machines.\u003cbr /\u003e　　In chapter 1, we describe our research background and objectives.\u003cbr /\u003e　　In chapter 2, as bases of our study, we introduce the support vector\u003cbr /\u003emachines, the support kernel machines and active learning methods and\u003cbr /\u003etheir sampling strategies. We also point out the issue of \"kernel pre-\u003cbr /\u003eselection\" of the active support vector machines.\u003cbr /\u003e　In chapter 3, we first propose the \"basic active support kernel ma-\u003cbr /\u003echines\" which is an active learning version of a typical multiple kernel\u003cbr /\u003elearning method \"support kernel machines\".\u003cbr /\u003e　In the basic active support kernel machines, we re-learn the optimal\u003cbr /\u003ediscriminant function every time after labeling and then select a sample\u003cbr /\u003efor labeling. Because the support kernel machine optimizes the discrim-\u003cbr /\u003einant function as well as the combination of kernels at the same time, it\u003cbr /\u003etakes too much time to show a next labeling sample for human experts\u003cbr /\u003eafter his labeling of one sample.\u003cbr /\u003e　We therefore propose the \"two-phased active support kernel machines\"\u003cbr /\u003ewhich achieves quick response in the active learning phase by selecting a\u003cbr /\u003esample to label using the discriminant function based on an approximate\u003cbr /\u003esolution of support kernel machines, and also learns a highly precise dis-\u003cbr /\u003ecriminant function by the complete optimization of the support kernel\u003cbr /\u003emachine after active learning phase.\u003cbr /\u003e　We further show experimentally that we can get discriminant functions\u003cbr /\u003eby the two-phased active support kernel machines as precise as the ones\u003cbr /\u003eof the support kernel machines using the best single kernels.\u003cbr /\u003e　In chapter 4, we investigate the sampling strategy for active support\u003cbr /\u003ekernel machines using RBF kernels which are known to be effective in\u003cbr /\u003ecase of support vector machines.\u003cbr /\u003e　For the active support kernel machines using RBF kernels with dif-\u003cbr /\u003eferent diameters, we propose the \"SKM-SHIFT strategy\" as a sampling\u003cbr /\u003estrategy which can learn a proper combination of kernels in fewer number\u003cbr /\u003eof labeling than the \"margin strategy\" typically used in active learning\u003cbr /\u003emethods. It emphasizes to narrow down the combination of kernels by\u003cbr /\u003egetting labels of mutually dissimilar samples in the initial phase, and\u003cbr /\u003eemphasizes to improve the precision of discriminant function after the\u003cbr /\u003ecombination of kernels approaches to the optimal. We show the effective-\u003cbr /\u003eness of the combination of the two-phased active support kernel machines\u003cbr /\u003eand the SKM-SHIFT strategy using a standard benchmark problem.\u003cbr /\u003e　In chapter 5, as an application to a real problem, we apply our active\u003cbr /\u003elearning algorithm to the problem to judge whether a metal equipment\u003cbr /\u003eattached to electric poles to reuse or not based on its surface image. We\u003cbr /\u003eshow that a bias of input images can be found by analyzing the learned\u003cbr /\u003ecombination of kernels. It is the effect of the active learning method\u003cbr /\u003ewhich learns a discrimination function and a combination of kernels si-\u003cbr /\u003emultaneously.\u003cbr /\u003e　In chapter 6, we summarize our results in this thesis.\u003cbr /\u003e　The most contribution of this study is that we relax the assumption that\u003cbr /\u003ethe kernels effective to the target classification are known in advance and\u003cbr /\u003edevelop an active learning method which can select an effective combina-\u003cbr /\u003etion of kernels and which achieves quick response for smooth interaction\u003cbr /\u003ewith human experts in active learning phase and high precision of learned\u003cbr /\u003ediscriminant functions simultaneously.\u003cbr /\u003e", "subitem_description_type": "Other"}]}, "item_1_description_18": {"attribute_name": "フォーマット", "attribute_value_mlt": [{"subitem_description": "application/pdf", "subitem_description_type": "Other"}]}, "item_1_description_7": {"attribute_name": "学位記番号", "attribute_value_mlt": [{"subitem_description": "総研大甲第1199号", "subitem_description_type": "Other"}]}, "item_1_select_14": {"attribute_name": "所蔵", "attribute_value_mlt": [{"subitem_select_item": "有"}]}, "item_1_select_8": {"attribute_name": "研究科", "attribute_value_mlt": [{"subitem_select_item": "複合科学研究科"}]}, "item_1_select_9": {"attribute_name": "専攻", "attribute_value_mlt": [{"subitem_select_item": "17 情報学専攻"}]}, "item_1_text_10": {"attribute_name": "学位授与年度", "attribute_value_mlt": [{"subitem_text_value": "2008"}]}, "item_creator": {"attribute_name": "著者", "attribute_type": "creator", "attribute_value_mlt": [{"creatorNames": [{"creatorName": "SHINOHARA, Yasushi", "creatorNameLang": "en"}], "nameIdentifiers": [{"nameIdentifier": "0", "nameIdentifierScheme": "WEKO"}]}]}, "item_files": {"attribute_name": "ファイル情報", "attribute_type": "file", "attribute_value_mlt": [{"accessrole": "open_date", "date": [{"dateType": "Available", "dateValue": "2016-02-17"}], "displaytype": "simple", "download_preview_message": "", "file_order": 0, "filename": "甲1199_要旨.pdf", "filesize": [{"value": "366.7 kB"}], "format": "application/pdf", "future_date_message": "", "is_thumbnail": false, "licensetype": "license_11", "mimetype": "application/pdf", "size": 366700.0, "url": {"label": "要旨・審査要旨", "url": "https://ir.soken.ac.jp/record/874/files/甲1199_要旨.pdf"}, "version_id": "25978ebb-c3cb-4068-a61c-836541d48bf3"}, {"accessrole": "open_date", "date": [{"dateType": "Available", "dateValue": "2016-02-17"}], "displaytype": "simple", "download_preview_message": "", "file_order": 1, "filename": "甲1199_本文.pdf", "filesize": [{"value": "2.5 MB"}], "format": "application/pdf", "future_date_message": "", "is_thumbnail": false, "licensetype": "license_11", "mimetype": "application/pdf", "size": 2500000.0, "url": {"label": "本文", "url": "https://ir.soken.ac.jp/record/874/files/甲1199_本文.pdf"}, "version_id": "c9d79309-b3e0-4ae8-9339-d3a999db4b58"}]}, "item_language": {"attribute_name": "言語", "attribute_value_mlt": [{"subitem_language": "jpn"}]}, "item_resource_type": {"attribute_name": "資源タイプ", "attribute_value_mlt": [{"resourcetype": "thesis", "resourceuri": "http://purl.org/coar/resource_type/c_46ec"}]}, "item_title": "サポートカーネルマシン近似解に基づく高速・高精度な能動学習", "item_titles": {"attribute_name": "タイトル", "attribute_value_mlt": [{"subitem_title": "サポートカーネルマシン近似解に基づく高速・高精度な能動学習"}, {"subitem_title": "Fast and Precise Active Learning based on Approximate Solution of Support Kernel Machines", "subitem_title_language": "en"}]}, "item_type_id": "1", "owner": "1", "path": ["19"], "permalink_uri": "https://ir.soken.ac.jp/records/874", "pubdate": {"attribute_name": "公開日", "attribute_value": "2010-02-22"}, "publish_date": "2010-02-22", "publish_status": "0", "recid": "874", "relation": {}, "relation_version_is_last": true, "title": ["サポートカーネルマシン近似解に基づく高速・高精度な能動学習"], "weko_shared_id": -1}