Вот что по этому поводу говорит справка Qt:
QGraphicsView inherits the drag and drop functionality provided by QWidget. When it receives a drag and drop event, it translates it to a QGraphicsSceneDragDropEvent.
Т.е., необходимо, чтобы не QGraphicsView, а объект сцены обрабатывал dragEnterEvent и dropEvent. Есть хороший пример в Qt, - dragdroprobot.