Попробуй использовать Matlab COM-server
http://www.mathworks.com/help/matlab/call-matlab-com-automation-server.html

По идее не должно быть проблем с вызовом вложенных m-функций. Главное, чтобы Matlab знал путь к ним. По сути, работая с Matlab через COM интерфейс, имеем все то же самое, что и при непосредственной работе. Разница лишь в том, что данные передаются из внешнего приложения, оно же и вызывает нужные m-функции и скрипты через метод Execute(...).

Если речь о Matlab-compiler, то ничего определенного сказать не могу в виду того, что не пробовал его использовать.

Здесь http://habrahabr.ru/post/146568/, например, написано:

[...] для компиляции этой функции в динамическую библиотеку:
- Пишем в консоли MatLab: deploytool.
- В открывшемся окне пишем имя проекта, его расположение а из выпадающего списка выбираем C Shared library и нажимаем OK. Учтите, что в Linux названия библиотек начинается со слова lib, поэтому и проект стоит называть libsum.prj
- В окне Exported Functions нажимаем на Add files и добавляем только что созданную функцию.
- Нажимаем на кнопку Build и дожидаемся окончания компиляции.

Судя по п.3 можно добавлять несколько разных функций, по крайней мере тех, что используют стандартный Runtime. А вот насчет того, чтобы создать библиотеку из кросс-зависимых функций, тут я не представляю, как поведет себя компилятор.