насчет запуска, QMutex может помочь
Не поможет, QMutex работает только в пределах процесса. В принципе есть два подхода: либо ты захватываешь какой-нить системный ресурс, к-ый автоматически освобождается при завершении процесса( серверный сокет, семафор, временный файл ), либо ищешь свое приложение в системной таблице процессов. Самое простое и переносимое ( в рамках Qt ) юзать QServerSocket.