Если изображение больше размера оперативки, свопить будет полюбому. Не к файлу же мне каждый раз обращаться.
Умные люди не зря mmap реализовали! Вы почитайте документацию.
Вы будете работать с изображением
любого размера, как-будто оно находится в оперативной памяти. На экран выводится всё равно только небольшая его часть. В данное время вы тратите время на подкачку всего изображения в память, но потом работаете быстро. В предлагаемом варианте, пользователь быстро получит доступ к куску изображения, а вы закэшируете куски картинки по краям отображенного пользователю "окна" и при скролле, отобразите данные из кэша и так далее.