No 127307
著者(漢字) 西山,正志
著者(カナ) ニシヤマ,マサシ
標題(和) 写真の審美的品質識別
標題(洋) Aesthetic Quality Classification of Photographs
報告番号 127307
報告番号 甲27307
学位授与日 2011.03.24
学位種別 課程博士
学位種類 博士(学際情報学)
学位記番号 博学情第39号
研究科 学際情報学府
専攻 学際情報学
論文審査委員 主査: 東京大学 教授 佐藤,洋一
 東京大学 教授 相澤,清晴
 東京大学 教授 山口,泰
 東京大学 准教授 苗村,健
 東京大学 准教授 山崎,俊彦
内容要旨 要旨を表示する

The aesthetic quality of a photograph is a significant cue for inferring the level of appreciation that arises when people view digital content on various types of computer systems. It would be useful to classify the aesthetic quality in photographs to more easily manipulate large photograph collections that are available because of the widespread use of digital cameras and the Internet. The research community is currently tackling this challenging problem of aesthetic quality classification, which automatically assesses whether a photograph generates aesthetic appreciation.

This thesis focuses on developing techniques for classifying aesthetic quality of photographs. In particular, we discuss detecting of multiple-subject regions and assessing color harmony in order to enhance the performance of aesthetic quality classification. These techniques play an important role in determining aesthetic quality of photographs. We statistically build these quality classifiers using large photograph databases collected on websites where users manually provide quality labels to photographs. Furthermore, we demonstrate that our aesthetic quality classifier emulates how people organize large photograph collections.

The first part describes an aesthetic quality classifier with multiple subjects. First, we detect multiple-subject regions that contain attention grabbing salient pixels in a photograph. We also detect the background region. From these detected regions, we extract features that are based on the rule of thumbs for photography. We combine these features to show the relationships among multiple-subject regions and the background region. The combined features are then used for classifying the aesthetic quality of a photograph. The previous works on this topic considered only single-subject regions.

The advantage of our technique is that it can deal with photographs containing multiple subjects, for example, a flower among leaves or individual buildings in a landscape. Our technique can extract more detailed features from multiple-subject regions than from a single-subject region.

The second part describes an aesthetic quality classifier on the basis of the color harmony assessment of photographs. Color harmony plays an important role in various aspects that determine the perceived quality of a photograph; furthermore, color harmony should be taken into account to enhance the ability of automatic aesthetic quality classification. In this part, we tackle the challenging problem of evaluating the color harmony of photos, particularly for aesthetic quality classification. A key observation is that a photograph can be seen as a collection of local regions whose color variation is relatively simple. This has led us to develop a technique for assessing the aesthetic quality of a photograph on the basis of its color harmony.

In the third part, we describe applications using aesthetic quality classification. We designed a technique for automatically cropping a photograph using a quality classifier that assesses whether the cropped region is agreeable to users. We first trim the original image and then decide on the candidates for cropping. We find the cropped region with the highest quality score by applying the quality classifier to the candidates. We further demonstrate a photograph search application that has aesthetic quality classification.

Throughout these works, aesthetic quality classification that detects multiple subjects and assesses color harmony was made significantly more accurate. The proposed techniques could be used for easily manipulating large photograph collections. This enhances the potential for the future investigations of computer systems that infer human emotion and provide fast services to different people and environments, enabling these systems to interact naturally with people.

審査要旨 要旨を表示する

本論文は「Aesthetic Quality Classification of Photographs」(写真の審美的品質識別)と題し,写真の良し悪しに関する審美的品質という人の主観的な情報の工学的解析の実現に向けて,写真の審美的品質の判別手法に関する研究について取りまとめられており,全体で5章により構成されている.


第2章「Aesthetic quality classifier with multiple subjects」(複数の注目領域を用いた審美的品質の識別器)では,人間が写真中のどこに注目するかを抽出し審美的品質を識別する手法について述べている.従来手法は背景のぼけ具合により単一の注目領域を検出していたが,提案手法は視覚的注意,すなわち注目の強度を表す顕著度により複数の注目領域を検出している.それら複数の注目領域と背景領域から,識別のための特徴量を抽出している.これにより提案手法は,従来手法で取り扱えなかった写真から品質識別に有効な特徴を抽出でき,識別率のさらなる向上を狙うことができる.実験により,審美的品質の識別精度が従来手法と比べて改善することを確認している.

第3章「Aesthetic quality classifier based on color harmony assessment of photographs」(写真の色彩調和の評価に基づく審美的品質の識別器)では,品質識別の性能向上に寄与する色彩調和の評価手法について述べている.従来,数色からなる単純な配色が対象であれば,その調和の評価結果が人間の感覚と近くなるモデルが知られている.しかし,従来モデルでは,様々な色が様々な形で同時に現れる写真の色彩調和をどのように評価するかについて考慮されていなかった.これに対し、本論文では,写真の色彩調和を評価するにあたり、局所領域の色分布は単純配色で近似できるとの考えにもとづき、局所領域における配色の集合によって写真の審美的品質を識別するという新たな手法を提案し、実験により識別に有効であることを確認している.

第4章「Applications using aesthetic quality classification」(審美的品質識別を用いた応用)では,写真加工の新たな応用として,品質識別を用いた写真トリミングを提案している.この応用は,写真中の審美的品質が高い領域をクロッピング結果として出力している.そのために,候補領域を位置や大きさを様々に変えて生成し,それら候補領域へ品質識別器を適用した上で,最も高い審美的品質スコアをもつ候補領域を決定している.従来のクロッピング手法は候補領域を顕著度で評価していたため,クロッピング結果は必ずしも人の感覚と一致していなかった.提案手法は審美的品質を考慮しているため,人の好みに沿った結果が得られるものと期待される.実験により,審美的品質を考慮した提案手法は従来手法と比べて,ユーザが好ましいと感じるクロッピング結果が得られることを確認している.さらに,審美的品質識別を用いた写真検索の応用も紹介している.




UTokyo Repositoryリンク