1. Добавь пустой лэйаут в нужное место формы и назови его осмысленно (например qgllayout)
2. Уже в классе формы (программно) после функции setupUI создай экземпляр своего наследника (instance)
3. qgllayout->addWidget(instance)
Не обязательно так сложно, в designer есть специальный функционал для этого:
1. Кладешь QWidget
2. В контекстном меню "Преобразовать в"
3. Указываешь свой класс, унаследованный от QGLWidget, и его хедер. => кнопка "Добавить"
4. Профит