а нет ли готовых натренированных бесплатных сетей на tensorflow ?
как например https://github.com/susheelsk/image-background-removal

Не исключаю) Tensorflow - это очень мощная либа)


Нет, не "равномерно распределённых", а равновероятно распределённых (с однородной плотностью распределения)

А почему бы и нет? 

Почему же неясно? Мы даём координаты живого пикселя и говорим, что им соответствует пиксель вот с такими значениями R, G, B. Затем берём другой живой пиксель с координатами (x, y) и говорим, что он имеет уже вот такие R,G,B.. И так далее по всем живым пикселям, о которых нам всё известно.
А теперь мы подсовываем ей произвольные координаты (x, y) и спрашиваем у неё: А какие R,G,B с её точки зрения, должны быть у данного пикселя.  
Вот и вся магия) (Точнее, вся магия там под капотом, но..)

Ну "предложенное мною" - слишком громко звучит, все это известно уже почти сотню лет При триангуляции есть единственный (он же наилучший) вариант, никакого множества нет. Собсно в этом идея DT (Delauney Triangulation). Хотя есть  CDT (Constrained..) типа "хорошо или плохо, но это ребро(а) должно быть" - но то уже навороты.

50K точек? Ну будут "секунды", но не "десятки секунд". Расход памяти не заслуживает обсуждения. А вот в квачестве я отнюдь не уверен - вероятен сильный/чрезмерный блюр.

Чтобы соревноваться в скорости, нужно как минимум сравняться в качестве, а судя по
о качестве говорить не приходится.

С таким же успехом можно соревноваться с алгоритмом замещающим битые пиксели случайными.

Ну и почему бы и нет? Проиграю я - я признаю свою неправоту.. Это нормально)

В конце-концов, так устроена жизнь)

Да, именно  об этом я и говорю, чтоб всё было "инвариантно". Я готов предоставить все тесты и  разъяснить все тонкости своего алгоритма.. В этом плане я всегда за свободные и открытые  знания )