Это значит, что на другом компе (где этой библиотеки нет) ехе не запустится?
Да, кроме этой библиотеки вместе со своим exe файлом нужно будет таскать dll-библиотеки самой Qt.
И что значит держать её вместе с ехе? Файл 10.dll я в ней не нашёл.
Файл mingwm10.dll скопируй в папку со своим exe файлом.