Есть два варианта приложения:
1. QGLWidget с переопределённым paintGL
2. QGraphicsView/QGraphicsScene с QGLWidget в качестве viewport'а и переопределённым drawBackground.
В обоих случаях исполняется один и тот же GL-ный код. Больше на сцене ничего нет.

На WinXP SP2/GeForce 8400 GS работает примерно одинаково, на Ubuntu 9.10 x86_64/GeForce GTX 260 второй вариант медленнее на 40%. Падение именно процентное, что при одной модели и fps около 4к, что при 100 и fps около сотни.
Кто-нибудь знает, с чем может быть связано?

Я конечно дико извиняюсь ,но на мой взгляд это извращенство делать по второму варианту, первый ципляет только один класс, а второй сразу три(если не больше), конечно будет тормазить, чем вызванно желание делать по второму варианту?

Разумеется, не просто так. Qt планировалось использовать для отрисовки интерфейса поверх GL. Рисовать поверх QGLWidget'а дюже неудобно, уж лучше вместо Qt тот же CEGUI заюзать. Связка QGraphicsView/QGraphicsScene предоставляет более богатые возможности: Animation Framework, Graphics Layouts, etc. В конце концов даже встраивание QWidget'ов через QProxyWidget для сокращения кода, хоть они и тормознее, чем QGraphicItem'ы.
И всё бы ничего, но тормозит. При пустой сцене не должна, т.к. дополнительной работы там нет, а вот всё равно.
Баг троллям запостил, посмотрим, что скажут.

Посмотри здесь.
Тормоза могут быть из-за этого
...
we set the viewport update mode of the QGraphicsView  to FullViewportUpdate as a QGLWidget cannot perform partial updates
...