加工前と加工後の画像による深層学習の方法について。

プログラムの問題ではなく、知識についての質問です。

最終的に実現したいもの

いわゆる二次元の人物イラストレーションを入力して、その目に書き込まれたの光（ハイライト）を自然な色で（虹彩の色や交際の輪郭に合わせて）塗り潰すプログラムを作成したいです。

現状できること

Pythonにおける基本的な構文やモジュールを使用してプログラムを書くこと。

自分で調べた結果

深層学習による画像処理について調べても、読み取らせたいものを切り取った画像を学習させて入力からその位置や品質などを読み取るサンプルしか見つかりません。私が読み取らせたいものはハイライトで、ただの白い楕円なのでこの方法を使うことは難しいのではと思います。

聞きたいこと

加工前と加工後の画像を学習させ、インプットから加工後の画像をアウトプットさせるために必要な深層学習の概念、参考になる書籍・ウェブサイトの情報が知りたいです。言語はPythonです。具体的にどのようなモジュールを用いるか教えていただければ自分で調べることもしやすくなると思うので教えて欲しいです。

また、処理を実現するための簡単なステップについてご教授いただければと思います。
素人目には以下のようなものが考えられますが、経験のある方から簡単でいいので設計の案を提案してもらいたいです。
・画像を入力する→学習データにより1発で出力を生成する
・画像を入力する→ハイライトの位置と虹彩の色や模様パターンを認識→ハイライトによって隠された部分を予想して復元→出力を生成する

終わりに

経験も知識も無い拙い質問だとは思いますが、それでもお答えいただける方がいればよろしくお願いします。

jbpb0

2021/10/18 04:34

たとえば、 https://gigazine.net/news/20180425-nvidia-image-inpainting/ で紹介されてるような、画像の顔のパーツの一部を隠すと、それっぽいパーツで埋めてくれるAIがあるので、そういうものをうまく使えば、目のハイライト部分をうまく埋めてくれるAIが作れるかも (うまくやらないと、周囲の目の色で塗られてしまうかもしれないけど)