При попытке узнать статус isChecked(), программа выдает ошибку...
Так и должно быть.
groupBox не инициализирован в конструкторе.
На самом деле, ты используешь локальную переменную для хранения указателя:
C++ (Qt)
Dialog::Dialog(QWidget *parent) : QDialog(parent)
{
QGroupBox *groupBox = ...