Средствами QSS можно только текущую выделенную
QMenu::item:selected { /* when user selects item using mouse or keyboard */
background-color: #654321;
}
Если надо только один пункт, то можно сделать финт ушами (но только если совсем приспичит):
fileMenu->addAction(openAction);
openAction->setCheckable(true);
openAction->setChecked(true);
fileMenu->setStyleSheet("QMenu::item:checked { background-color: #654321; }");
Больше из qss не знаю что выжать..