Восстановление изображения

[m_ax]

Всем доброго времени суток, камрады!

Задача такая:
Имеется матрица пикселей: каждый пиксель имеет свои координаты (x, y) и значение (R, G, B). Причём большинство пикселей "битые",
пусть для определённости, 95% всех пикселей нерабочие, и мы можем работать только с оставшимися 5% "живых" пикселей. Живые пиксели
равновероятно распределены по всей матрице и мы знаем их координаты (x, y).
Вопрос: как на основе "живых" пикселей наиболее "корректно" восстановить всё изображение?

Я не специалист в этом вопросе и не знаю какие сейчас существуют наиболее топовые алгоритмы, которые эту проблему решают.
Буду благодарен за комментарии, предложения и возможные направления)

Заранее спасибо)  

[Old]

Сейчас нейросети картины дорисовывают... Вот я бы опять в эту сторону смотрел.

[m_ax]

Сейчас нейросети картины дорисовывают... Вот я бы опять в эту сторону смотрел.

Пожалуй, да) Это, как я понимаю, проблема классификации.. Входные данные это 2D вектор (x, y), а выходной - 3D (R, G, B).
 

[Old]

Входные данные это 2D вектор (x, y), а выходной - 3D (R, G, B).

Да тут огромный простор для экспериментов.
Я бы тренировал сеть показывая исходную картинку (где все битые пиксели заменялись [0, 0, 0]), а в качестве правильного ответа показывал бы валидную картинку.
 

[m_ax]

Входные данные это 2D вектор (x, y), а выходной - 3D (R, G, B).

Да тут огромный простор для экспериментов.
Я бы тренировал сеть показывая исходную картинку (где все битые пиксели заменялись [0, 0, 0]), а в качестве правильного ответа показывал бы валидную картинку.
 

А что значит валидная картинка? У меня условно только 5% живых пикселей, случайно распределённых по матрице)

[Old]

А что значит валидная картинка? У меня условно только 5% живых пикселей, случайно распределённых по матрице)

Ну сеть то нужно вначале натренировать, поэтому понадобяться некие исходные картинки. Дальше мы берем хорошую картинку, убиваем по определенным правилам 95% и отдаем эту пару сети. И там 100500 разных картинок.
А потом при запросе мы даем сети битую картинку, а она нам восстановленную (на ее взгляд).

[m_ax]

А что значит валидная картинка? У меня условно только 5% живых пикселей, случайно распределённых по матрице)

Ну сеть то нужно вначале натренировать, поэтому понадобяться некие исходные картинки. Дальше мы берем хорошую картинку, убиваем по определенным правилам 95% и отдаем эту пару сети. И там 100500 разных картинок.
А потом при запросе мы даем сети битую картинку, а она нам восстановленную (на ее взгляд).

Так, хорошо, идею понял..
Но мне не совсем очевидно следующее:
Пусть у нас есть 100500 валидных картинок, одинаковой размерности (соответствующих размерности нашей восстанавливаемой) с одинаковым набором живых пикселей.
Нейросеть выцепляет некоторые корреляции между координатами живых пикселей с их значениями (R, G, B).
Мне не очевидно, почему обученная сеть, на основе "левых" вылидных картинок, сможет восстановить конкретно совершенно другую картинку?

[Old]

Мне не очевидно, почему обученная сеть, на основе "левых" вылидных картинок, сможет восстановить конкретно совершенно другую картинку?

Конечно, другую картинку она не восстановит.
Если сеть тренировать на пейзажах, а потом показать ей "убитого" робота, то она из него пейзаж и восстановит.
Я думал у вас некий определенный набор картинок будет.
А так натренировать сеть на всё-всё-всё врядли получится.

[m_ax]

Мне не очевидно, почему обученная сеть, на основе "левых" вылидных картинок, сможет восстановить конкретно совершенно другую картинку?

Конечно, другую картинку она не восстановит.
Если сеть тренировать на пейзажах, а потом показать ей "убитого" робота, то она из него пейзаж и восстановит.
Я думал у вас некий определенный набор картинок будет.
А так натренировать сеть на всё-всё-всё врядли получится.

Мне не очевидно, почему обученная сеть, на основе "левых" вылидных картинок, сможет восстановить конкретно совершенно другую картинку?

Конечно, другую картинку она не восстановит.
Если сеть тренировать на пейзажах, а потом показать ей "убитого" робота, то она из него пейзаж и восстановит.
Я думал у вас некий определенный набор картинок будет.
А так натренировать сеть на всё-всё-всё врядли получится.

Вот 
Я немного слукавил - у меня уже есть решение этой проблемы, правда не без своих минусов.. Хотел просто сравнить разные подходы.
И да, моё решение - это именно machine learning 

Вот в аттаче https://dropmefiles.com.ua/ru/LANZ8Q6mxD прикрепляю архив с картинками - оригинальными и восстановленными на основе 5% случайных пикселей
Ну, как вам? 

[m_ax]

Вот исходники для двух примеров. Во втором примере нужно png картинку в корень положить (example2) с именем "photo.png" + boost::gil,
а в первом примере нужно иметь установленный gnuplot http://www.gnuplot.info/ )

[Old]

Ну, как вам? 

Шикарно.

[m_ax]

Прошу прощения: перепутал example1 с example2... Исправил..

[m_ax]

Ну, как вам?  

Шикарно.

Вы знаете, я сравнивал с классической нейросетью (tiny_dnn) в плане обучения её по времени.. Так вот (не исключаю, что у меня руки не из того места растут) она в статистическом плане всегда проигрывает vanda-е..Т.е. время обучения  у неё нереально большое..(

[qate]

нужно png картинку в корень положить (example2) с именем "photo.png" + boost::gil,

как посмотреть на картинку, от которой осталось 5% из исходной ?
boost::gil не знаю - как сохранить не соображу

[m_ax]

нужно png картинку в корень положить (example2) с именем "photo.png" + boost::gil,

как посмотреть на картинку, от которой осталось 5% из исходной ?
boost::gil не знаю - как сохранить не соображу

Да и не нужно на неё смотреть.. Просто берёте png картинку, называете её photo.png и кидаете её в папочку example2...
boost::gil - это Generic Image Library - библиотека для работы с изображениями)