если не высоко нагруженное решение:
Сервер - QTcpServer.
Клиент - QTcpSocket.
Протокол - свой.
Шифрование - в зависимости от задачи реализуется в протоколе.
Защищенность соединения - в зависимости от задачи.
Если высоко - то использовать или нативные решения, или уже готовые сборки аля erlang под linux вроде (тут я ошибаюсь % на 90 - не интересовался ими).
Ещё вопросы:
1) Cервер должен быть написан на Qt?
2) Сервер будет работать под какой ОС?
3) Клиент будет работать под какой ОС?
Ну и ещё пара десятков других
По поводу того ,насколько сервак будет нагружен - вообще не знаю(зависит от популярности программы). Но по сути от сервера только требуется послать сигнал клиенту (можно ему войти или нет).
давай все вопросы сразу
1)Сервер может быть написан на чем угодно ,лишь бы приложение qt могло с ним нормально функционировать .
2)По идеи ,под вин 7 ,но вообще на хостинге ,так что я в этом пока нуб.
3)Клиент будет работать либо под Win7\Win8 ,Linux , и может быть (хотя я сомневаюсь) MacOs .
За совет "написать все на qt самому" - спасибо ,пошел раскуривать.