Пробую подключть тестовую dll.
В папке с исходниками создаю две папки с содержимым:
include/MyLibrary/mylibrary.h
lib/libMyLibrary.a
В проекте дополнительно прописываю:
INCLUDEPATH += include/MyLibrary
LIBS += -Llib -lMyLibrary
В QtCreatore есть встроенное средство для подключения библиотек: Правой кнопкой на проект и выбрать "Add Library..."