Маска в Windows не бывает полупрозрачной, каждый пиксель или полностью прозрачен или наоборот.
Я добивался отработки альфа по каждому пикселю маски под виндой с помощью UpdateLayeredWindow.
По крайней мере на ХР и висте это работает.
Поддерживает ли это Qt я не проверял.