@misc{oai:ir.soken.ac.jp:00001499, author = {片山, 淳 and カタヤマ, アツシ and KATAYAMA, Atsushi}, month = {2016-02-17, 2016-02-17}, note = {本研究では電子透かし検出のための空間同期ずれ補正技術のカメラ付携帯電話機上での実現を目的とする。電子透かしは信号キャリアとなるホスト画像に肉眼では感知できないように信号(電子透かし信号)を埋め込み、またホスト画像から埋め込んだ信号を検出する技術である。電子透かしは著作権保護や、アナログメディアとデジタルメディアとの仲介のために用いられることが多く、デジタルホスト画像からだけではなく、アナログホスト画像、すなわち印刷物やディスプレイからの検出を要求される。またアナログメディアとデジタルメディアの仲介として用いる場合は、普及しているパーソナルカメラ端末、すなわちカメラ付携帯電話機上で動作することが、利便性の点から望ましい。アナログホスト画像からの電子透かし検出では、埋め込み時と検出時との間の画像で空間同期ずれが生じるため、検出前にいかに空間同期ずれを補正できるかが重要となる。
　既存の電子透かしのための空間同期ずれ補正研究はその補正の難易度により2種に分けられる。1つめは拡大縮小と回転についてのみ補正するもので、本論文ではこれをアフィン変換補正と呼ぶ。2つめは、ホスト画像平面法線と検出カメラレンズの中心軸が平行でない場合を補正するもので、本論文ではこの状態からの補正を平面射影変換補正と呼ぶ。定義から、平面射影変換補正はアフィン変換補正を包含する。アフィン変換補正の既存研究では、電子透かし繰り返しパターンの自己相関を用いる方法とホスト画像の周波数空間にマーカを付与して補正する方法がある。これらはマーカが肉眼では感知できない利点を持つが、アフィン変換補正のみに対応するため、ホスト画像の正面からカメラ撮影しなくてはならないという制約を持つ。一方平面射影変換補正については、ホスト画像の外側にマーカを付与して補正する方法がある。これはホスト画像を正面以外からカメラ撮影してもよいが、マーカが肉眼で見えるため、ホスト画像に見えないように信号を埋め込むという電子透かしの本来の趣旨を損ねている。いずれの方法ともに共通しているのは、ホスト画像の内容を利用していない点である。電子透かしの場合はホスト画像の内容を検出側が事前に知ることは困難であるから、ホスト画像の内容を空間同期ずれ補正に利用することは難しい。この点はパターン認識などの他の画像処理とは大きく異なる部分であり、電子透かし特有の制約と言える。電子透かしの用途および既存研究の動向から解決すべき課題は以下のように整理できる。

　・肉眼で感知できるマーカを使用せず、

　・ホスト画像の内容を事前に知ることなく、

　・カメラ付携帯電話機でリアルタイムに、

　・平面射影変換補正を行う。

　本研究ではこれら4つの課題を解決するためにまず"SIFT(Scale-Invariant Feature Transform) を用いた対応点マッチング補正法"を検討した。検討の結果、SIFTを用いた方法はリアルタイム性に問題があったため、それを解決するために"STA(Side Trace Algorithm)を用いた対応点マッチング補正法"を提案した。提案した"STAを用いた対応点マッチング補正法"は4つの課題を解決することに成功した。また、2007年に特許として登録され、2009年の現在においてもカメラ付携帯電話機でホスト画像領域をマーカ無しでリアルタイムに検出する世界で唯一の方法である。実用面では以下の用途に採用された。

1.NTTデータ株式会社のパッとびサービス

2.NTTコミュニケーションズ株式会社ビルの応接室入退室用認証装置(本装置は2008年度NTTコミュニケーションズ社長表彰を受賞)

3.NTT R&Dフォーラム(2007、2008)の来場者受付装置

また、以下の研究のためのツールとして利用・引用された。

1.　カメラ付き携帯電話機を用いたアナログ画像からの高速電子透かし検出方式

2.　リアルタイム検出可能な動画向けモバイル電子透かし

3.　SFPSS法に基づくリアルタイム検出可能な映像向けモバイル電子透かし

4.　カメラ付携帯端末での撮影画像を対象とした劣化耐性のある静止画像識別方式

5.　実書籍に対する仮想情報付加による学習支援の提案

6.　特開2008-84014、画像領域検出方法、富士通

　以下、本論文の構成とその概要について示す。
　第1章では、本研究の背景を述べ、アナログメディアからの電子透かし検出が、アナログメディアとデジタルメディアとの仲介として有効な手段であることを示す。アナログメディアからの電子透かし検出では、埋め込み時と検出時との間にホスト画像の空間同期ずれが生じ、それを補正することの必要性を示す。空間同期ずれの補正法の従来研究について述べ、従来研究の課題を整理し、本研究が解決すべき4つの課題を導き出す。課題解決のために本論文では2つの提案方法を検討することを示す。
　第2章では、本研究が想定する電子透かしアプリケーションの条件について述べ、そこから導き出される目標性能を定める。同時に、ターゲット端末を既存のカメラ付き端末の中で最も処理性能の低いカメラ付き携帯電話機と定める。最も処理性能の低い端末を選ぶ理由は、その端末上で日標処理性能を達成すれば、他のどのような端末でも日標を達成できると言えるからである。次にカメラ付き携帯電話機の処理性能についてベンチマークテストを行い、性能上のボトルネックは画像メモリのアクセスコストであることを示す。ボトルネックの議論は第4章以降で詳細を述べることになる。
　第3章では、第1の提案方法であるSIFT(Scale-Invariant Feature Transform)を用いた対応点マッチング補正法(以下SIFT法と呼ぶ)について述べる。SIFTを採用するに至った着眼点を述べ、SIFTにより4つの課題の内3つが解決可能なことを示す。SIFT法で解決できない残り1つの課題はリアルタイム性であり、これについてはプロセッサの処理性能の向上を待たねばならないことを述べる。
　第4章では、第2の提案方法であるSTA(Side Trace Algorithm)を用いた対応点マッチング補正法(以下基本STA法と呼ぶ)について述べる。基本STA法の着眼点が、人が電子透かし検出のためにホスト画像を撮影する場合はカメラフレーム中央にホスト画像を配置する習性であることを述べ、それを利用することにより画像メモリ探索経路を大幅に短縮できることを示す。画像メモリ探索経路の短縮により処理のリアルタイム性が実現可能となり、基本STA法は4つの課題が全て解決可能であることを示す。ただし、基本STA法はホスト画像の外周エッジのコントラストがはっきりしている場合にのみ性能を発揮できること が示唆される。
　第5章では、枠利用型STA法について述べる。本方法は基本STA法の弱点であるホスト画像外周エッジのコントラストがはっきりしていない場合を救済するために、ホスト画像外周に枠を付与するものである。枠を付与したことにより、基本STA法に比べ処理時間が約1割増加する代わりに、基本STA法の弱点が克服できることを実験結果により示す。また、枠付与は、どのようなマーカ付与に比べても処理コストが小さいことを定量的に示す。
　第6章では、枠を付与することなしに、枠利用型STA法と同等の性能を出せるロバスト型STA法について述べる。前章では、基本STA法では認識が難しい外周エッジのはっきりしないホスト画像領域の検出に枠を付加することで対応した。枠を付加する事はホスト画像の内容・用途によってはホスト画像の美観を損ねる場合がある。そのため、外周エッジのはっきりしない画像に対しても外周エッジによって画像領域を検出できることが実用上は望ましい。本章では基本STA法に改良を加え、エッジ検出閾値を非常に小さくすることでコントラストの小さい外周エッジも漏れなく検出し、検出後に正しい外周エッジを選出する方針により、外周エッジのはっきりしない画像に対しても正しくホスト画像領域を検出するロバスト型STA法について述べる。ロバスト型STA法は枠利用型STA法に匹敵する特徴点検出成功率を実現できることを示す。また実験により、本方法はSIFT、ハフ変換よりも高い特徴点検出精度であることを示す。
　第7章では、ロバスト型STA法の動画像への適用について述べる。動画像では、動画像表示装置の筐体外周が四辺形のため、筐体外周の四辺形をホスト画像外周の四辺形と誤認識する問題があることを述べる。この問題をホスト画像外周の四辺形を時間軸方向で同定する追跡により解決できることを示す。追跡に用いる画像特徴量には何が良いかについて検討し、四辺比と周囲長を用いることを述べる。実験によりこれらの画像特徴量が動画像内の四辺形追跡に有効であることを示す。
　第8章では、基本STA法の円形状への適用について述べる。　基本STA法の外周エッジを探索するという基本動作は、容易に円形状検出に応用できることを述べ、円形状を検出するハフ変換に比べ、円形状用STAが1万倍高速であることを示す。
　第9章では基本STA法、枠付与型STA法、ロバスト型STA法、および動画像対応STA法が実用サービスに用いられていることを紹介する。また、学術面では電子透かし論文からだけでなく、画像識別論文からも引用・利用されていることを紹介する。
　最後に第10章で本論文の成果をまとめた。提案したSTA法は、画像を全てアクセスすることなく処理を完了する画像処理の新たなパラダイムを用いて、空間同期ずれ補正技術の4課題「肉眼で感知できるマーカを使用せず、ホスト画像の内容を事前に知ることなく、携帯にてリアルタイムに、平面射影変換補正を行う。」の同時解決を可能としたことが本論文の成果である。

Abstract
　In this research, it has a purpose of the realization on the handheld unit of the spatial synchronous difference revision technology for the digital watermark detection. The digital watermark is the technology by which a signal (The digital watermark signal) is embedded so as not for the host image which becomes a signal carrier to be able to sense at the naked eye. Also, it is the technology which detects a signal in the embedded host image.
　The digital watermark is being often used for the copyright protection and the agency of the analog media and the digital media and its sometimes requiring detection in the analog host image, i.e. printed matter and the display. The digital watermark detection from the analog host image, because a spatialsynchronous difference is caused by the image between the time of the embedding and the time of the detection, how it is possible to revise a spatial synchronous difference before detection becomes important.
　A spatial synchronous difference revision research for existing digital watermark is divided into two kinds by the degree of difficulty of the revision. The first revises only about the scaling and the rotation and in this paper, this is called affine-transformation revision. The second revises the case which the host image plane normal and the center axis of the detection camera lens aren't parallel to and in this paper, revision from this condition is called plane projective-transformation revision. The plane projective-transformation revision includes affine-transformation revision from the definition. There are a way of using the auto-correlation of the digital watermark repeat pattern and a way of revising a marker by giving it to the frequency space of the host image in the existence research of the affine-transformation revision. Because the marker can not be sensed at the naked eye but supports only a ffine-transformation revision, these have the agreement that the camera must be taken from the front of the host image the photograph. On the other hand, there is a way of revising a marker by giving it outside the host image therefore to revise a plane projective-transformation. Because it is permitted to take a host image the photograph with the camera from the thing except the front but the marker can be seen by the naked eye, this ruins the original point of the digital watermark that a signal is embedded so as not to seem a host image. It is to the point which isn't using the contents of the host image that which way is common together. Because it is difficult to know the contents of the host image when the side of the detection is preliminary in case of the digital watermark, it is difficult to use the contents of the host image for the spatial synchronous difference revision. At this point, it is the part which is different from the other image processing such as the pattern recognition roughly and it is possible to say the constraint which is peculiar to the digital watermark. The problem which it should solve from the trend of the existence research can be organized as follows:

　・ It doesn't use the marker which can be sensed with the naked eye.

　・ Without knowing the contents of the host image beforehand

　・ It is real-time.

　・ It revises a plane projective-transformation.

　In this research, it reviewed to have used "SIFT (Scale-Invariant Feature Transform) to solve congruent points matching correction method to solve these four problems". As for the way of using SIFT, because there was a problem in the real-time, it proposed to have used "STA (Side Trace Algorithm) to solve congruent points matching correction method ".
　To have used proposed "STA congruent points matching technique" were subscribed as the patent in 2007. In the present in 2009, because it was the only way in the world to detect the host image with the cell phone terminal, not being in the marker and being real-time, it was used for the following use:

　1.　It services "Pattobi" in NTT Data Inc..

　2.　The authentication equipment for the reception office entrance and exit at NTT communications Inc. building (This equipment wins NTT communications president awarding in 2008 ).

　3.　The visitor reception equipment of NTT R&D forum (2007, 2008).

　Hereinafter, it is shown about the composition and the overview of the this paper.
　In the first chapter, it describes the background of this research and shows that digital watermark detection in the analog media is used as the agency of the analog media and the digital media. In the digital watermark detection in the analog media, the spatial synchronous difference of the host image occurs between the time of the embedding and the time of the detection and shows the necessity of revising it. Some researches in the past of the correction method of the spatial synchronous difference are described, it organizes problems of researches in the past and the derivation of four problems which this research should solve. It shows two proposal ways to solve these problems.
　In the second chapter, it shows the digital watermark application which this research assumes and specifies the goal performance of this research with derivation from there. At the saｍe time, it specifies that the target terminal is a camera-equipped mobile phone with the lowest performance in existing terminal with the camera. It is possible to say that what other terminal can achieve goal performance when the lowest performance terminal achieved goal performance. Next, it did a bench-mark-test about the performance of the camera-equipped mobile phone and it shows that the bottleneck in case of performance is the access cost of the image memory. As for the discussion of the bottleneck, details are described of chapter 4 since then.
　In the third chapter, it described congruent matching correction method using SIFT. The viewpoint which resulted to adopt SIFT is described and it is possible to solve out three of four problems with SIFT. By the SIFT, the problem of one piece of the remainder which can not be solved is real time, and the improvement of the performance of the processor must be waited for.
　In the fourth chapter, it described that it used STA which is the proposal way congruent matching correction method. The viewpoint of the basic STA is described and four problems show the thing where all can be solved by the basic STA. But, by the experiment, when the contrast of the peripheral edge of the host image isn't being cleared, the basic STA shows that the performance doesn't resemble sufficiently out.
　In the fifth chapter, a frame use type STA is described. This way gives a frame to the host image periphery to relieve the case where the contrast of the host image periphery edge which is the defect of the basic STA isn't being cleared. It shows that the defect of the basic STA can be conquered instead of that the operation time compared with the basic STA increases by about 10 percent by giving a frame by the experimental result. Also, a thing with small processing cost is quantitatively shown to whatever marker assignment it compares a frame assignment.
　In the sixth chapter, the robust type STA which can let out the performance which is equal to the frame use type STA without giving a frame is described. In the preceding chapter, it supported in recognition's adding a frame to the detection of the host image area with the difficult peripheral edge which isn't cleared in the basic STA. To add a frame sometimes damages the beauty of the host image depending on the contents and the use of the host image.Therefore, in case of practical use, it is desirable that the image area can be detected by the peripheral edge to the image of the peripheral edge which isn't cleared, too. In this chapter, it adds improvement to the basic STA and the robust type STA which detects a host image area right to the image of the peripheral edge which isn't cleared, too, is described. By the experiment, this way shows to have the detection performance which is equal to the frame use type STA.
　In the seventh chapter, an application to the movie of the robust type STA. At the movie, because the box periphery of the movie display is a quadrangle, it describes that there are a quadrangle of the host image periphery and a problem to falsely recognize in the quadrangle of the box periphery. The thing which the chase to identify a quadrangle in the movie in the direction of the temporal axes can solve is shown in this problem. It describes that it reviews what is good for the image characteristics quantity to use for the chase and that it uses an all sides ratio and a length around. This image characteristics quantity shows a valid thing by the experiment to chase a quadrangle in the movie.
　In the eighth chapter, an application to the circularity of the basic STA is described. As for the basic STA, it describes that it is possible to use for circular detection easily and STA for being circular shows a high-speed thing in ten thousand times compared with Haugh transform which detects circularity by the experiment.
　In the ninth chapter, it introduces that a basic STA, a frame assignment type STA, a robust type STA and a movie compatible STA are used for the practical use service. Also, it introduces to be quoted from the image identifying paper, too, in addition to the digital watermark paper, being academic.
It organizes about the problem to have gathered the result of this research last in chapter 10 and to have been left and it makes the summary of this paper., 総研大甲第1284号}, title = {電子透かし向け空間同期ずれ補正の研究}, year = {} }