Думаю что на винде использовался старый mingw, как следствие неспешная компиляция в один поток, плюс накладки NTFS, как уже сказали. Возьми какой-нибудь mingw версии 4.8.2 и используй make -j5, думаю будет намного быстрее.
MinGW как раз именно 4.8. С -j5 в сумме будет быстрее - просто будет одновременно компилять несколько файлов при сборке библиотек. Но ведь на виртуальной машине в Linux тоже в последовательных процессах компиляция шла...