9600 - это вообще не скорость, хоть в 10 раз её увеличить - это меньше 115200, которая стандарт и работает прекрасно
думаю затык в венде/драйвере (чего мы не знаем точно) или алгоритме обработке (чего ТС не показал полностью)
пусть пишет простой тест и от него отталкивается