QWidget::topLevelWidget()->setMaximumSize();
Дак а вроде для setMaximumSize() параметр нужен, QSize. Для этого его нужно вычислить, и как это сделать мне понятно. Я думал может у Qt есть возможность настроить политику изменения окна соответствующим образом.
Кстати, если использовать setMaximumSize(), в каком месте его лучше вызвать для QTabWidget, с учетом того, что изначально добавляется QWidget 200*200 пикселей, а потом он может изменяться в зависимости от пожеланий пользователя (масштаб). Вроде если тянуть это дело из самого дочернего виджета, то как-то не правильно...
Впихивать проверку в resizeEvent - тож вроде не очень красиво...