в state хранится соcтояние, описанное битами - флажками. Скорее всего, это переменная типа int.
Данной операцией мы обнуляем биты, которые описывают состояния QStyle::State_HasFocus и QStyle::State_MouseOver. Потом эту информацию можно как-то использовать.

option->state &= ~(QStyle::State_HasFocus | QStyle::State_MouseOver);
дпустим
option->state= 01100101

QStyle::State_HasFocus=00000000

QStyle::State_MouseOver= 01000000


QStyle::State_HasFocus | QStyle::State_MouseOver=
00000000
или
01000000
равно
01000000

~(QStyle::State_HasFocus | QStyle::State_MouseOver)=
10111111

option->state &= ~(QStyle::State_HasFocus | QStyle::State_MouseOver)=
01100101
и
10111111
равно
00100101

те мы просто убираем биты либо QStyle::State_HasFocus, либо QStyle::State_MouseOver (либо биты обоих) из option->state
это битовые операции