Ванга мод: приложению не хватает libeay32.dll, ssleay32.dll (проживают в %QtPath%\Tools\%mingw%\opt\bin)
1) Проверяйте ошибки соединения:
сигнал sslErrors.
2) Начиная зашифрованное соединение, ожидать тоже стоит его:
QSslSocket::waitForEncrypted.
3) Нужно больше асинхронности, хоть это и не точно.
4) Раз Вас тянет в эту степь, помните, порт 465 обычно implicitTLS, порт 587 обычно explicitTLS (т.е. нужно незашифрованное соединение, команда STARTTLS и т.д.)