Ради интереса посмотрела. У меня твой код работает:
void mainForm::init(){
QBitmap bitmap(100, 100);
QPainter p(&bitmap);
p.drawRect(0,0, 100, 100);
p.end();
setMask(bitmap);
}
Работает в конфигурациях:
FedoraCore 3+ Qt3.3.3 + KDE
FedoraCore 3 + Qt3.3.3. + WindowMaker
MacOSX 10.3 + Qt3.3.4
в результате вместо целого окошка получается квадратик 100 на 100.
Если хочешь, могу весь проект кинуть