Нужно использовать картинку в формате без потери качества и с альфа каналом. PNG - то, что нужно. Альфа канал должен бьІть абсолютно чётким: или 0 или 255.
widget->setFixedSize( pixmap.size() );
widget->setMask( pixmap.mask() );
И в
paintEvent() на виджете рисовать ентот рисунок.