Можно выставить тем элементам, которые не нужно отрисовывать флаг QGraphicsItem::ItemHasNoContents.
Но дело в том, что смена флага приводит к перерисовке сцены. Чтобы этого избежать нужно "заморозить" основные вью через
C++ (Qt)
gv->viewport()->setUpdatesEnabled( false );