Я заметил что после перекомпиляции значения флагов сохраняются с прошлого раза, даже если их не устанавливать.
Думаю мне нужно просто установить на ноль Qt::WindowStaysOnTopHint, или установить другой который отменяет первый, но увы я не нашел как это сделать