{"_buckets": {"deposit": "206b2e3e-4636-4131-9433-1e42d961e390"}, "_deposit": {"created_by": 21, "id": "1433", "owners": [21], "pid": {"revision_id": 0, "type": "depid", "value": "1433"}, "status": "published"}, "_oai": {"id": "oai:ir.soken.ac.jp:00001433", "sets": ["19"]}, "author_link": ["0", "0", "0"], "item_1_biblio_info_21": {"attribute_name": "書誌情報（ソート用）", "attribute_value_mlt": [{"bibliographicIssueDates": {"bibliographicIssueDate": "2009-03-24", "bibliographicIssueDateType": "Issued"}, "bibliographic_titles": [{}]}]}, "item_1_creator_2": {"attribute_name": "著者名", "attribute_type": "creator", "attribute_value_mlt": [{"creatorNames": [{"creatorName": "竹田, 隆治"}], "nameIdentifiers": [{"nameIdentifier": "0", "nameIdentifierScheme": "WEKO"}]}]}, "item_1_creator_3": {"attribute_name": "フリガナ", "attribute_type": "creator", "attribute_value_mlt": [{"creatorNames": [{"creatorName": "タケダ, タカハル"}], "nameIdentifiers": [{"nameIdentifier": "0", "nameIdentifierScheme": "WEKO"}]}]}, "item_1_date_granted_11": {"attribute_name": "学位授与年月日", "attribute_value_mlt": [{"subitem_dategranted": "2009-03-24"}]}, "item_1_degree_grantor_5": {"attribute_name": "学位授与機関", "attribute_value_mlt": [{"subitem_degreegrantor": [{"subitem_degreegrantor_name": "総合研究大学院大学"}]}]}, "item_1_degree_name_6": {"attribute_name": "学位名", "attribute_value_mlt": [{"subitem_degreename": "博士（情報学）"}]}, "item_1_description_1": {"attribute_name": "ID", "attribute_value_mlt": [{"subitem_description": "2009032", "subitem_description_type": "Other"}]}, "item_1_description_12": {"attribute_name": "要旨", "attribute_value_mlt": [{"subitem_description": "　現代は高度情報化社会といわれ、さまざまな情報が電子化されている。こうした電子化\u003cbr /\u003eされた大量の文書が存在する一方、その中から必要とされる情報を効率よく見つけたいと\u003cbr /\u003eいうユーザの情報取得要求も強くなっている。たとえば、最新ニュースなどに関する記事\u003cbr /\u003eは、リアルタイム性の高いストリーム型の文書で、その中から、ユーザの興味のある記事\u003cbr /\u003eをタイムリーに提示することが望まれる。\u003cbr /\u003e　また、Web上に形成されるコミュニティには、ユーザの意見、要望、苦情等、企業側が\u003cbr /\u003e想定しない潜在的なニーズやリスクに関する情報が含まれている。Web上に蓄積された文\u003cbr /\u003e書の分析には、各種のテキスト解析ツールを備え、大量テキストを効率よく処理できるシ\u003cbr /\u003eステムが望まれる。\u003cbr /\u003e　このようなニーズに答えるために、電子化された情報から類似文書をまとめるクラスタ\u003cbr /\u003eリング、特定の話題に関する文書を選別するフィルタリング、類似文書クラスタの内容を\u003cbr /\u003eまとめる多文書要約といった高度なテキスト処理技術が必要になる。\u003cbr /\u003e　電子化された文書の特徴のひとつとして、部分的に類似した表現が複数の文書に現れる\u003cbr /\u003eことがあげられる。本研究では、この特徴に着目し、大量の文書から部分的に類似した表\u003cbr /\u003e現を効率良く列挙することによって、効果的な文書クラスタリング、文書フィルタリング、\u003cbr /\u003e文書要約を行う手法を提案する。\u003cbr /\u003e　1章では本研究の背景と目的を述べる。また本研究で扱う局所的類似表現を事例を示\u003cbr /\u003eしながら定義する。\u003cbr /\u003e　2章では、本研究の基礎となる文書類似度、近似文字列マッチングについての既存研究\u003cbr /\u003eを述べる。さらに、本研究で提案手法の応用を試みるスプログフィルタリングおよび多文\u003cbr /\u003e書要約の研究をサーベイする。\u003cbr /\u003e　第3章で本論文の核となる局所的類似性を抽出する方法を述べる。本論文では、特に大\u003cbr /\u003e規模なテキストに対して効率よく局所的類似表現を抽出することに力点をおいており、\u003cbr /\u003e　(1)問題に応じて定義された部分文字列の類似度に基づいて接尾辞配列を作成し、\u003cbr /\u003e　(2)接尾辞配列を一回スキャンすることによって局所的に類似する部分文字群を列挙す\u003cbr /\u003eる方法を提案する。\u003cbr /\u003e　第4章では、提案手法をスパムブログ(スプログ)のフィルタリング問題に適用し、そ\u003cbr /\u003eの有効性を示す。スプログは、他のブログやWebの文書に現れる語、フレーズ、文を組み\u003cbr /\u003e合わせることによって自動的に生成されることが多い。そのため、スプログは他の文書か\u003cbr /\u003eらのコピーコンテンツを多く含む。本研究では、スプログが持つこの特性に着目し、ブロ\u003cbr /\u003eグやWebの文書から構成される文書データベースを構築し、各ブログと文書データベース\u003cbr /\u003e中のテキストとの局所的類似性を抽出することによって、スプログのフィルタリングを行\u003cbr /\u003eうシステムを構築した。そして、システムのフィルタリング性能を測定するために、およ\u003cbr /\u003eそ25,000件のブログよりなる評価用のコーパスを作成し、フィルタリングシステムを評価\u003cbr /\u003eした。この評価実験により、提案手法がフィルタリング性能を示す代表的な尺度の一つで\u003cbr /\u003eあるF値において0.76程度の比較的高い性能を得られること、また、実用的な観点からは、\u003cbr /\u003eこのフィルターを未知のタイプのスプログに対する検知器として用い、スプログのタイプ\u003cbr /\u003eごとに専用のフィルターを構築することによって、より精度の高いスプログフィルタを構\u003cbr /\u003e成することが望ましいことを示す。\u003cbr /\u003e　第5章では、本研究で提案した局所類似性検出法を複数文書要約の問題に適用し、その\u003cbr /\u003e有効性を示す。Web上に公開されるオンラインニュースでは、複数の新聞社より同種のニ\u003cbr /\u003eュースが発信されており、また、同一の新聞社からも続報といった形で類似情報を含む記\u003cbr /\u003e事が発信される。そのため、ニュース記事には、他の記事と部分的に同種の情報が含まれ\u003cbr /\u003eていることが多い。本研究では、この特徴に着目し、(1)これらのニュース記事集合よ\u003cbr /\u003eり局所的類似性を検出し、(2)抽出した局所的類似性に基づいて記事間の類似性を求め\u003cbr /\u003eることによって、同一トピックに関する記事のクラスタを作成し、(3)各クラスタから\u003cbr /\u003e頻出する局所類似性を含む文を組み合わせて、記事クラスタの要約を作るシステムを構築\u003cbr /\u003eした。さらに、このシステムを複数文書要約システムの性能評価用コーバスの一つである\u003cbr /\u003eNTCIR4・TSC3を用いて評価し、冗長性の少ない要約を作るのに優れた手法であることを\u003cbr /\u003e示す。\u003cbr /\u003e　最後に第6章で本論文の成果をまとめる。\u003cbr /\u003e\u003cbr /\u003e\u003cb\u003eAbstract\u003c/b\u003e\u003cbr /\u003e　Various kinds of information are currently accessible through the In-\u003cbr /\u003eternet. Since the Internet contains a wide variety and a large amount of\u003cbr /\u003einformation, an efficient and effective information acquisition mechanism\u003cbr /\u003eis strongly required. News articles are one of the most useful information\u003cbr /\u003esources because they contain up-to-date information about various kinds\u003cbr /\u003eof topics, such as serious accidents, seasonal events, popular merchandise, \u003cbr /\u003eand services. Consumer Generated Media (CGM) data such as blog is\u003cbr /\u003eanother example of important information, because it contains valuable\u003cbr /\u003einformation concerning a customer\u0027s reputation and becomes an impor-\u003cbr /\u003etant information source for detecting customers\u0027 needs and analyzing the\u003cbr /\u003eeffects of various product promotions. Although the Internet consists\u003cbr /\u003eof a huge amount of information, it also contains a lot of duplicate in-\u003cbr /\u003eformation. The duplication is harmful when handling the information. \u003cbr /\u003eHowever, we could not know what and where there are beforehand. \u003cbr /\u003e　For example, suppose we search the Web pages relevant to a given\u003cbr /\u003etopic. Then, the search result may contain pages describing the same\u003cbr /\u003ething. The duplication is a nuisance when trying to comprehend the\u003cbr /\u003esearch results. It is also problematic from the aspect of computational\u003cbr /\u003eand network resources. By removing the duplication, we can make the\u003cbr /\u003eInternet a more easy-to-handle information source. \u003cbr /\u003e　Existing problem is that the duplication appears in configured levels, \u003cbr /\u003e\u003ci\u003ee.g.,\u003c/i\u003e words, phrases, sentences, and paragraphs. This thesis describes a\u003cbr /\u003enew method for removing duplicated information. For this goal, we first\u003cbr /\u003edevelop an algorithm to enumerate the locally similar information that is\u003cbr /\u003edefined as the substrings of any length that appear frequently in multiple\u003cbr /\u003edocuments. Since there is a vast amount of substrings in documents, \u003cbr /\u003ein addition, the duplicated information may be described using different\u003cbr /\u003eexpressions. We focus on the efficiency of the algorithm. We applied it\u003cbr /\u003eto two kinds of applications to evaluate the effectiveness of the developed\u003cbr /\u003emethod. \u003cbr /\u003e　The first application is a multi-document summarization of news ar-\u003cbr /\u003eticles. News articles are delivered from multiple news companies, and\u003cbr /\u003ewe can read most of them on-line. So, news articles describing the same\u003cbr /\u003eevent issued by the different companies exist. Furthermore, news articles\u003cbr /\u003eare frequently updated and parts of news articles are duplicated even if\u003cbr /\u003ethey are issued by the difference company. In this case, Summary article\u003cbr /\u003ecan be created if the new information \"part\" are enumerated. Our news\u003cbr /\u003esummarization system detects the locally similar information from news\u003cbr /\u003earticles, makes clusters of them describing the same event, and generates\u003cbr /\u003ea summary of each cluster. \u003cbr /\u003e　The second application is a splog filter. Splog is a blog that is gener-\u003cbr /\u003eated automatically for commercial purposes. They are harmful for CGM-\u003cbr /\u003econtent retrieval and analysis. Japanese splogs are often generated by\u003cbr /\u003ecombining words and copied phrases appearing in various documents. As\u003cbr /\u003ea result, Japanese splogs contain copied words, phrases, and sentences . \u003cbr /\u003eThese copied strings are regarded as locally similar information. \u003cbr /\u003e　This thesis exploits this feature of Japanese splogs and proposes a splog\u003cbr /\u003efiltering system using the proposed method of enumerating locally similar\u003cbr /\u003einformation and shows that it is effective for filtering splogs. This is a\u003cbr /\u003especial case of local similarity because Splog do not have similarity but\u003cbr /\u003ethe exact match.", "subitem_description_type": "Other"}]}, "item_1_description_18": {"attribute_name": "フォーマット", "attribute_value_mlt": [{"subitem_description": "application/pdf", "subitem_description_type": "Other"}]}, "item_1_description_7": {"attribute_name": "学位記番号", "attribute_value_mlt": [{"subitem_description": "総研大甲第1240号", "subitem_description_type": "Other"}]}, "item_1_select_14": {"attribute_name": "所蔵", "attribute_value_mlt": [{"subitem_select_item": "有"}]}, "item_1_select_16": {"attribute_name": "複写", "attribute_value_mlt": [{"subitem_select_item": "複写不可"}]}, "item_1_select_17": {"attribute_name": "公開状況", "attribute_value_mlt": [{"subitem_select_item": "全文公開可"}]}, "item_1_select_8": {"attribute_name": "研究科", "attribute_value_mlt": [{"subitem_select_item": "複合科学研究科"}]}, "item_1_select_9": {"attribute_name": "専攻", "attribute_value_mlt": [{"subitem_select_item": "17 情報学専攻"}]}, "item_1_text_10": {"attribute_name": "学位授与年度", "attribute_value_mlt": [{"subitem_text_value": "2008"}]}, "item_creator": {"attribute_name": "著者", "attribute_type": "creator", "attribute_value_mlt": [{"creatorNames": [{"creatorName": "TAKEDA, Takaharu", "creatorNameLang": "en"}], "nameIdentifiers": [{"nameIdentifier": "0", "nameIdentifierScheme": "WEKO"}]}]}, "item_files": {"attribute_name": "ファイル情報", "attribute_type": "file", "attribute_value_mlt": [{"accessrole": "open_date", "date": [{"dateType": "Available", "dateValue": "2016-02-17"}], "displaytype": "simple", "download_preview_message": "", "file_order": 0, "filename": "甲1240_要旨.pdf", "filesize": [{"value": "293.5 kB"}], "format": "application/pdf", "future_date_message": "", "is_thumbnail": false, "licensetype": "license_11", "mimetype": "application/pdf", "size": 293500.0, "url": {"label": "要旨・審査要旨", "url": "https://ir.soken.ac.jp/record/1433/files/甲1240_要旨.pdf"}, "version_id": "c4d85f43-9dfd-441d-9643-e795eafdfd77"}, {"accessrole": "open_date", "date": [{"dateType": "Available", "dateValue": "2016-02-17"}], "displaytype": "simple", "download_preview_message": "", "file_order": 1, "filename": "甲1240_本文.pdf", "filesize": [{"value": "2.5 MB"}], "format": "application/pdf", "future_date_message": "", "is_thumbnail": false, "licensetype": "license_11", "mimetype": "application/pdf", "size": 2500000.0, "url": {"label": "本文", "url": "https://ir.soken.ac.jp/record/1433/files/甲1240_本文.pdf"}, "version_id": "848378d3-dff7-442e-9925-0f0f0f249fbf"}]}, "item_language": {"attribute_name": "言語", "attribute_value_mlt": [{"subitem_language": "jpn"}]}, "item_resource_type": {"attribute_name": "資源タイプ", "attribute_value_mlt": [{"resourcetype": "thesis", "resourceuri": "http://purl.org/coar/resource_type/c_46ec"}]}, "item_title": "局所的類似情報に基づいたテキストマイニングに関する研究", "item_titles": {"attribute_name": "タイトル", "attribute_value_mlt": [{"subitem_title": "局所的類似情報に基づいたテキストマイニングに関する研究"}, {"subitem_title": "Text Mining Based on Locally Similar Information", "subitem_title_language": "en"}]}, "item_type_id": "1", "owner": "21", "path": ["19"], "permalink_uri": "https://ir.soken.ac.jp/records/1433", "pubdate": {"attribute_name": "公開日", "attribute_value": "2010-03-24"}, "publish_date": "2010-03-24", "publish_status": "0", "recid": "1433", "relation": {}, "relation_version_is_last": true, "title": ["局所的類似情報に基づいたテキストマイニングに関する研究"], "weko_shared_id": -1}