У вас есть 2 возможности:
1. Создать окно с флагом
Qt::FramelessWindowHint и отрисовать его самостоятельно. Тогда у него не будет стандартных кнопок Свернуть, развернуть, закрыть.
2. Если хотите как в Firefox - то через WINAPI. Почитайте
тут, там 2 ссылки на статьи в первом ответе.