Всё зависит от оконного менеджера. Насколько я знаю, виндовьІй менеджер не может сделать полупрозрачное окно, на которое рендерит OpenGL. Солюшн - рендерить на внеекранньІй буфер (PBuffer, FramebufferObject), результирующую картинку грабить вместе с альфа-каналом и блитить на окно.
Был такой вариант. Иначе - никак?... Ибо этот вариант очень грустный....