Есть два диалога, один модальный (WindowModal) по отношению к главному окну, второй немодальный, почему модальный диалог перекрывает немодальный?
В документации написано обратное:
QDialog Class Reference
...
Modal Dialogs
...
When an application modal dialog is opened, the user must finish interacting with the dialog and close it before they can access any other window in the application. Window modal dialogs only block access to the window associated with the dialog, allowing the user to continue to use other windows in an application.
...