人工知能で白黒写真をカラー化する~早稲田大学が開発

大隈重信と来訪者_早稲田大学所蔵画像引用元: 早稲田大学
2016年5月27日(金)、早稲田大学理工学術院の石川 博(いしかわ ひろし)教授、飯塚 里志(いいづか さとし)研究院助教、シモセラ・エドガー研究院助教らの研究グループは、ディープラーニング技術を用いて白黒写真を自然に彩色する「ディープネットワークを用いた大域特徴と局所特徴の学習による色付け」の手法を確立したと発表しました。

この研究成果による白黒写真(画像)のカラー化は、@mecab氏の「siggraph2016_colorization」サイトで試すことができます。

スポンサーリンク

「ディープネットワークを用いた大域特徴と局所特徴の学習による色付け」とは?

・従来の白黒写真への色付け方法ではユーザーによる介入を必須としていたが、本研究では自動で色付けする手法を確立。

・ディープラーニング技術により、大量の白黒・カラー画像の組から色付けの手掛かりとなる特徴を学習し、与えられた白黒画像をカラー画像に変換する。

・画像全体から抽出される大域特徴と、より小さな領域から算出される局所特徴とを結びつける手法を新たに開発。

・大域特徴からは、屋外か屋内か、また昼か夜か等の写真全体についての情報を得る。局所特徴からは、例えば砂か葉か水か等の物体の持つ質感により、その領域をどのように色付けするのが最も適当かという推測をする。

・これらの組み合わせで、夕暮れの空や人の肌等の、より状況にあった自然な色付けを自動的に行うことを可能にした。

・今回の研究により、100年前の白黒写真をはじめ、様々な画像において自然な色付けを実現した。

・彩色の結果はユーザーテストにより評価され、約90%の色付け結果が自然であるという回答を得た。

・ソースコードをGitHubにて公開。

・研究成果は、7月に米ロサンゼルスで開催されるコンピューターグラフィックスの国際会議SIGGRAPH 2016で発表される予定。

ソース:早稲田大学

「白黒画像の自動カラー化」を試してみた

siggraph2016_colorization」サイトにパソコンやスマホでアクセスします。
※当記事ではスマホでアクセスしています。

1.画面を下方にスクロールし、[画像を選択]をタップして、アップする画像をパソコンやスマホ内から選択します。
colorization1

2.下記のような画面に切り替わったら、[カラー化]をタップします。
※ここでは撮影させていただいたコスプレイヤーさんの画像をアップしました。
colorization2

3.数秒後、下記のような画面に切り替わります。
colorization3

4.さらに数秒後、画面を下方にスクロールすると、カラー化された「Colorized 結果」画像が表示されます。
colorization4

「白黒画像の自動カラー化」の結果

Colorizedの結果画像と元画像です。
※画像をクリックすると等倍画像が開きます。
(「Colorized 結果」画像は長辺800px。「元画像」は長辺2048px)

Colorized 結果
colorized_アトテク

元の白黒画像
C86_1日目_ジャック・スパロウ_白黒

白黒に加工する前の元のカラー画像
C86_1日目_ジャック・スパロウ

元のカラー画像を「自動カラー化」した画像
※試しに「元のカラー画像」を「自動カラー化」してみました。
colorized2_アトテクカラー画像をアップすると、いったん「グレースケール画像」に変換した後、カラー化処理を行うようです。

人工知能の未来

以前、Googleが人工知能技術で画像をシュールに変換するDeep Dreamというサイトを公開しました。
用途が違うものの、ユーザー側から見ると、似たような操作と「画像を加工する人工知能」という共通点から、早稲田大学の今回の研究発表が、Googleの後追いのようにも見えてしまいます。

全然違うものなのだと思いますが、将来、人工知能が自己学習でブラックボックス化して、「ユーザーはただ使うだけと」なった世界が来たら、なにか新しいものが誕生しても、「また似たようなものか」と注意を払わなくなるかもしれません。
そういう人間の性質を利用して、人工知能がいつの間にか世界を支配している、なんてことも起きるかもしれません。

人工知能の暴走を防ぐ「非常停止ボタン」の研究が行われているようですが、人工知能の暴走に人間側が気付かなければ、そもそもボタンを押そうと思わないわけですから、なかなか難しい問題です。