Резонный вопрос: сколько выделяется памяти приложению? В универе говорили, что 4Гб, ну это с вирт. памятью. Но программа валится уже при 2100Мб.
Встречный вопрос, у вас приложение 32-разрядное или 64-разрядное? Если 32-разрядное, то 2 GB на процесс.
Насколько я помню, QImage может хранить изображения, пока выделенная процессу оперативная память не закончится.
Я работаю в своей программе с изображениями ~5000x6000 пикселей в UInt16, но естественно, не на 32-разрядах.
А вообще с очень большими изображениями работают не так. Никто не хранит в памяти такие большие изображения. Обычно подгружают нужные куски частями, а то, что нужно чаще всего кэшируют.