А я где то писал, что изобретать велосипеды плохо? 
Я говорил о том, что есть базовые структуры хранения данных, у которых есть свои плюсы и минусы и не существует структуры, лишенной всех недостатков - которую и ищет Igors.
Всегда (как при реализации своего велосипеда, так и при выборе стандартного контейнер) мы вынуждены выбирать: "память против скорости", "доступ против памяти", ...

На мой взгляд "принципиально не решаемы" бывает очень редко. А вот когда стандартное решение есть, но не устраивает - частенько

Давайте посчитаем байты

sizeof(QVector3D) = 12  (3 float)
sizeof(ARGB) = 4 (по байту на канал)

С использованием указателей каждый член весит уже 20 байт (32 бит) или 24 (64 бит). Немного сэкономили "когда данных мало", зато раздули почти вдвое "когда есть". Итого: памяти съедается не меньше "зато" добавили забот с указателями.

Конечно покажу - но когда Вы перестанете злиться (понимая что Вы не правы  )

Ну так Ваше "не в лоб" (чуть подумав) еще хуже по всем статьям 

Та оно мне надо? Ну произведу я на Вас впечатление, и что я с этого буду иметь? 
Просто не люблю когда книжка выдается за свои мысли/убеждения. Я уважаю знания, но считаю что их надо не только "прочитать", но и осмыслить, пережить, пропустить через свой опыт. Я решал эту проблему так, мне интересно как бы ее решали др. программисты. Если они считают что здесь проблемы нет и можно обойтись "ширпотребом" - здесь я с ними не соглашусь, т.к. у меня эта проблема есть. Но навязывать свое мнение не буду.

По поводу реализации - здесь никакой "интриги" нет. Ну предположим каждый вертекс может иметь свой расклад.

C++ (Qt)
struct Vertex {
 size_t GetSize( void )  const { return theGlobalVertexTable[mTableIndex].GetSize(); } 
 
// ой как бы здесь заверещала наша малышь  :)
 Vector3D * GetNormal( void )  { return theGlobalVertexTable[mTableIndex].GetNormal((char *) this); } 
 ,,,
 
// data
 Vector3D mPosition;   // постоянные данные
 UInt32 mTableIndex;   // индекс расклада в таблице
};
 
struct VertexTableEntry {
 size_t GetSize( void ) const { return mSize; }
 Vector3D * GetNormal( char * src )  { return (Vector3D *) (mNormalOffset ? (src + mNormalOffset) : NULL);  } 
...
 
// data
 size_t  mSize;
 size_t mNormalOffset;
 ...
};
 

Подробности очевидны. На практике не бывает "все вертексы уникальны" - они объединяются в группы с одинаковыми раскладами. Но суть та же, ну просто подаем tableIndex как параметр (вместо члена класса). Правда никакой стандартный контейнер не прокатит (нет реального sizeof), но это наименьшая из всех проблем. Все просто если не цепляться за догмы/стереотипы