Возня с "записанным терминатором" лишена смысла. Допустим p[ i ] был простым массивом созданным new. Как его тогда распределить перед чтением? Ну читать сначала в контейнер и.т.п - дешевле не выходит.

Так или иначе читающий должен сначала узнать "сколько байт данных читать", поэтому не стоит "изобретать велосипед" 

Согласен с Igors. Выделить вначале фиксированный блок информации о файле. Кол-во строк, столбцов.

А так любой в принципе сериализатор справится

так это тогда просто. я думал автору нужно именно считывать просто поток байт, без какой-либо дополнительной информации (кроме того, что эта последовательность чисел - двумерный массив).