если ты хочешь получить выбранный фильтр
используй
QString QFileDialog::selectedFilter () const
Returns the filter which the user has selected in the file dialog. See the "selectedFilter" property for details.
но для этого нельзя использовать QFileDialog::getOpenFileName,
а надо создавать диалог по всем правилам
QFileDialog plg = new QFileDialog();
и поехало