А можно поподробнее? Я незамечал проблемы в кастомизации модальных окон.
Qt::Sheet
0x00000004 | Window
Indicates that the window is a Macintosh sheet. Since using a sheet implies window modality, the recommended way is to use QWidget::setWindowModality(), or QDialog::open(), instead.
Т.е. когда используется Qt::WindowModal, то диалог всегда будет вести себя как sheet - анимация при появлении/закрытии, полупрозрачность, шареный с родительским окном заголовок и т.д.