Задай в Assistant'е поиск по LEXSOURCES или YACCSOURCES. В qmake Command Reference немного про это написано.
Ага, это нашел. Надо, оказывается, расширение для lex-файлов делать .l
Но проблема со сборкой осталась. Может, есть ссылки какие хорошие по теме?