Тормоза возникают когда эти методы меняются, и пересобираестя всё, куда эти хедеры подключены.
тут такое, тормоза во время компиляции компенсируют тормоза во время исполнения.
Ну и хоть кусочек исходника хотелось бы увидеть. Классы хоть не шаблонные?