А если пробелы заменить на %20; это поможет?
Не поможет.
В документации написано, что фильтры в круглых скобках разделяются пробелами. Как вариант, можно сделать колхозным методом
C++ (Qt)
dialog.setNameFilter(tr("Программа Anime Studio Pro (Anime*Studio*Pro*x64.exe)"));