Существует QDockWidget на котором находится QTreeView и парочка кнопок. Когда курсор находится над QDockWidget'ом он должен быть полностью виден, когда нет - должен оставаться только текст из QTreeView.
Обрезал лишнее
setMask( treeView->geometry() );
Сделал прозрачный фон у QTreeView
QPalette pal = treeView->palette();
pal.setBrush(QPalette::Base, Qt::transparent);
treeView->setPalette( pal );
А прозрачный фон у QDockWidget'а не получается.