GL_POLYGON_SMOOTH - неудобная и устаревшая функциональность, оставленная для обратной совместимости.
Использовать надо мультисэмплинг. Для его включения, необходимо чтобы контекст отображения OpenGL создавался с поддержкой мультисэмплинга.
Перед созданием QGLWidget:
C++ (Qt)
QGLFormat fmt;
fmt.setSampleBuffers(true);
fmt.setSamples(8); //2, 4, 8, 16
QGLFormat::setDefaultFormat(fmt); //либо так, либо передавать fmt непоср. в конструктор QGLWidget или QGLFormat
После:
C++ (Qt)
glEnable(GL_MULTISAMPLE);