Тогда совершенно непонятно почему Вы не вычислили нормаль самым простым и естественным способом 

Немного теории. Строго говоря, нормаль и (частные) производные - не одно и то же. Но они однозначно переводятся друг в друга. На плоскости: нормаль определяет касательную, а производная = тангенс угла ее наклона. В 3D: все то же самое, но касательная не прямая, а плоскость, и нормаль задается 3 значениями. Работать с нормалями куда легче, их легко визуализировать, легко объяснить что это такое (перпендикуляр к поверхности в точке)

Считаем что каждый пиксель имеет высоту по Z в зависимости от его яркости. Зададим макс высоту горы theAmplitude, тогда высота в точке (x, y)

C++ (Qt)
float height( int x, int y ) {  return brightness(x, y, theImage) * theAmplitude;  }

Возьмем 3 точки лежащие в плоскости касания (псевдокод)

C++ (Qt)
p0 = { x, y, height(x, y) };  // сама точка
p1 = { x + 1, y, height(x + 1, y) };  // сосед справа
p2 = { x, y + 1, height(x, y + 1) };  // сосед сверху
 

Вычисляем нормаль к этому треугольнику

C++ (Qt)
N = cross(p1 - p0, p2 - p0).normalize();

Где cross - все то же векторное произведение.

Но как получить из нормалей выдавленный рисунок? Да очень просто, взять скалярное произведение нормали с заданным вектором и перевести это число в цвет. Напр множим на ось Z (0, 0, 1) т.е. результат = z нормали. Это соответствует "выдавливанию" на нас. Задаем вектор (0, 0, -1) - инвертируем эффект, теперь "вдавлено". Вектор (0.707, 0, -0.707) - ага, давим вниз и вправо. И.т.д.

А можно представить по-другому: мы построили горы и теперь освещаем их выбирая позицию солнца - те или иные склоны будут освещены/затемнены.

Тут правда есть один нюанс реализации. Производные (а значит и нормали) неустойчивы ("звенят"), т.е. погрешность при их численном вычислении значительна. Именно поэтому Собель осредняет 8 значений, чтобы загладить ВЧ звон. Поэтому в данной реализации надо написать ф-цию brightness грамотно - взять не просто "яркость в точке", а среднюю яркость на площадке 3x3 или даже больше.

Ну и для полноты картины: есть очень непростые вариации этой задачи.
Это все, уже устал писать 

Так это частный случай, когда заданный вектор совпадает с (p1 - p0). Напр возьмем Z вместо X, тогда dot(p1 - p0, z) ни о чем еще еще не говорит т.к результат зависит и от (p2 - p0).

Не понял. Если у Вас cellular, то почему Вы не берете нормаль прямо из него Известно в какую ячейку попала точка, находите пересечение луча со сферой минус центр ячейки - вот и нормаль. Ну конечно подгладить стык хермитничком.

Ну и конечно, я не могу отказать себе в удовольствии обсудить Вашу статью http://habrahabr.ru/post/182346/ Насколько я помню, расцвет этой темы пришелся на середину 90-х, была довольно известная книга Musgrave(а). Очень привлекательно что процедуральная текстура не требует UV и не повторяется. Однако, довольно быстро выяснилась ее "механистичность".

Примечание: текст ниже всего лишь мое личное мнение, и это совсем не претензия к Вам лично - на мой взгляд это общая проблема АБСОЛЮТНО ЛЮБОЙ фрактальной текстуры

Вот напр рисунок из Вашей статьи (аттач).  Формально ни один из камней не повторяется, но все они "похожи" (напр как яблоки с одного дерева). В жизни бывает и такое (мостовая) но редко. Гораздо чаще между камнями есть какие-то зазоры/трещины, есть группы/колонии камней, напр  где-то пошла мелочь, а где-то один крупный и.т.п. Вот этого разнообразия фрактальные "нойсы" не дают.

Я подумаю (все-таки они должны быть простыми)

Вот система координат QPainter (аттач). Ну ясно X идет слева направо, Y сверху вниз. А как направлен Z - "на нас" или "от нас" И почему 

QLine на рисунке лишь для пояснения где X и Y. Др классы (напр QVector3D) могут иметь Z и, возможно, мы захотим его использовать.

[off]Когда молодой программист цитирует ассыстент - это так печально 

Можно, если пренебречь отражением от дна и от поверхности воды (на угол больше предельного) и последующим многократными отражениями от дна/поверхности..

Тогда радиус есть:

C++ (Qt)
double h = 10.0;
double n_12 = 1.0 / 1.33 // относительный показатель преломления воздуха по отношению к воде.. (к дистиллированной при 20 C)
 
double r = h * n_12/sqrt(1.0 - n_12*n_12); 
 

r = 11.4 м.

Предельный (не знаю как его там называют правильно) - это такой угол к нормали к поверхности двух сред, при котором преломлённый луч в менее плотной среде (воздух в данном случае) составляет 90 градусов. Т.е. лучь из воды не выйдет, а будет скользить по поверхности воды. При больших углах будет полное внутреннее отражение от поверхности воды.. 
Ну а как связаны между собой угол падения и  преломления, думаю писать здесь не нужно?

Вот не пойму я этих идеальных задач
Ведь если посмотреть, то нужно наоборот соблюсти некие параметры, иначе свет не будет заметен наблюдателю.
Прозрачность воды, мощность лампы, чувствительность наблюдателя, количество света на поверхности (световой фон как бы), примеси в воде и прочее

PS каждый из этих факторов сведёт задачу к "свет итак никогда не будет зафиксирован наблюдателем"

Много всего - вот только все "мимо цели"  

Вот оно, мастерство научных работников запутать самое простое! А нельзя было сказать проще, напр

достаточно небольшой ряби на поверхности воды - и все, свет просочится. Ведь расчет предполагает "идеальную" нормаль по оси Y

Ладно, вот теория https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%A1%D0%BD%D0%B5%D0%BB%D0%BB%D0%B8%D1%83%D1%81%D0%B0