Если есть возможность указать путь, где она должна лежать, то через exists():
exists( $(QTDIR)/lib/libqt-mt* ) {
message( "Configuring for multi-threaded Qt..." )
CONFIG += thread
}
При этом можно использовать регулярные выражения, а символ "/" разделения директорий одинаково работает на всех платформах.