Memory issues

[spectre71]

Видно что squeeze освобождает память! Не могу понять прикола, в чем разница между этими двумя вариантами?

Разница похоже в squeeze, не срабатывает что ли. В первом случае первые 800Мб освобождает delete и второй вектор выделяет снова 800Мб. Во втором случае squeeze похоже ничего не делает в итоге идет попытка откушать память до 1600Мб.

Я же писал про Mem Usage & VM Size, останавливал в дебагере и смотрел. Так что squeeze работает.
Единственно в чем может быть разница между QVector<int> и моим sbw::Indices - я не использую realloc! Я создаю новый массив и копирую данные в него через memcpy. Может проблема в использовании realloc в QVector(если он использует именно realloc)?

[spectre71]

Как ни странно, но Igors прав! Это явный глюк QVector, осталось понять в чем он заключается.

Из Ваших примеров я не могу понять почему я прав

На Mac есть подлянка с ::realloc и т.к. Qt его активно использует...
Про Вындоуз не знаю.

Потому что с QVector<int> - глючит
А с мим аналогичным классом sbw::Indices - нет.
Смотри вверху тесты для QVector<int> и sbw::Indices

Да и кстати, я тестировал под Windows, ты на сколько понял тестировал под Mac. Но глюк одинаковый и там и там

[Igors]

Может проблема в использовании realloc в QVector(если он использует именно realloc)?

Файл qmalloc.cpp

void *qRealloc(void *ptr, size_t size)
{
    return ::realloc(ptr, size);
}

На Mac это память НЕ освобождает, на Вындоуз - не в курсе

[Igors]

Да и кстати, я тестировал под Windows, ты на сколько понял тестировал под Mac. Но глюк одинаковый и там и там

Уточните плз: то есть отот код (theVector[10]) валится и на Вындоуз?
И еще одна мелочь: потянет ли на Вындоуз

QVector<int> theV;
theV.reserve(400 * 1024 * 1024);  // то есть > 1Gb

На Mac - нет, хотя на борту 4Gb

Спасибо

[spectre71]

Да и кстати, я тестировал под Windows, ты на сколько понял тестировал под Mac. Но глюк одинаковый и там и там

Уточните плз: то есть отот код (theVector[10]) валится и на Вындоуз?
И еще одна мелочь: потянет ли на Вындоуз

QVector<int> theV;
theV.reserve(400 * 1024 * 1024);  // то есть > 1Gb

На Mac - нет, хотя на борту 4Gb

Спасибо

Да этот код(приведенный вами) валиться на Windows. И тот упрощенный код(который я приводил) тоже.
theV.reserve(400 * 1024 * 1024);  -  валиться на Windows сразу(Windows XP).

[Igors]

Да этот код(приведенный вами) валиться на Windows. И тот упрощенный код(который я приводил) тоже.
theV.reserve(400 * 1024 * 1024);  -  валиться на Windows сразу(Windows XP).

Ага, спасибо, Spectre
Давайте сочинять баг репорт (vers 2.0)? 

[spectre71]

Да этот код(приведенный вами) валиться на Windows. И тот упрощенный код(который я приводил) тоже.
theV.reserve(400 * 1024 * 1024);  -  валиться на Windows сразу(Windows XP).

Ага, спасибо, Spectre
Давайте сочинять баг репорт (vers 2.0)? 

Это проблемы использования realloc

Код:

  int* a;
  int* b;
  
  a = (int*) malloc(200*1024*1024*sizeof(int));
  a = (int*) realloc(a, sizeof(int));
  b = (int*) malloc(200*1024*1024*sizeof(int));
// b == NULL Error !!!
  delete a;
  delete b;

Видимо эта зараза(realloc) не освобождает память, в надежде на то, что ее снова будут аллоцировать для данного указателя, идиотизм!
Не помню чтобы что-то подобное было описано в его спецификации(посмотрел сейчас в MSDN и ничего токого не нашел), хотя я им в последний раз пользовался лет 10 назад, поскольку он практически не нужен(так сходу и не придумать нормальной задачи где нужен - оптимален realloc).

[SABROG]

Ноги похоже отсюда растут: http://en.wikibooks.org/wiki/More_C%2B%2B_Idioms/Erase-Remove

erase не удаляет ничего, он подчищает мусор, который остается после использования метода remove().

[BRE]

Погонял тесты под linux. Полет нормальный.
Код с двумя векторами работает нормально: захватывает - освобождает.
С выделением: theV.reserve(400 * 1024 * 1024);  // то есть > 1Gb
тоже все Ок.

[spectre71]

Ноги похоже отсюда растут: http://en.wikibooks.org/wiki/More_C%2B%2B_Idioms/Erase-Remove
erase не удаляет ничего, он подчищает мусор, который остается после использования метода remove().

Ноги ростут от кривой работы realloc! Что показано на предыдущем тесте.
А то что ты привел связано с различием между "Count/Size" и "Capacity/AllocSize"

[spectre71]

Погонял тесты под linux. Полет нормальный.
Код с двумя векторами работает нормально: захватывает - освобождает.
С выделением: theV.reserve(400 * 1024 * 1024);  // то есть > 1Gb
тоже все Ок.

1) Возможно под Linux - realloc работает другим образом?
2) Скольки разрядный Linux, если 64, то возможно разница в этом?

[BRE]

1) Возможно под Linux - realloc работает другим образом?
2) Скольки разрядный Linux, если 64, то возможно разница в этом?

linux - 32bit.

Код

C++ (Qt)
  a = (int*) malloc(200*1024*1024*sizeof(int));
  a = (int*) realloc(a, sizeof(int));          
  b = (int*) malloc(200*1024*1024*sizeof(int));
 
  qDebug() << a;
  qDebug() << b;
 

Вывод:
0x85fb8008               
0x53fb7008               

Код

C++ (Qt)
  //#1 - Откушано памяти: 19 Мб
  a = (int*) malloc(400*1024*1024*sizeof(int));
  //#2 - Откушано памяти: 1,5 Гб
  a = (int*) realloc(a, sizeof(int));          
  //#3 - Откушано памяти: 19 Мб
  b = (int*) malloc(400*1024*1024*sizeof(int));
  //#4 - Откушано памяти: 19 Мб
 
  qDebug() << a;
  qDebug() << b;
 

Вывод:
0x53ed6008
0x0

Т.е. realloc освобождает блок, malloc пытается захватить такой же, но обламывается т.к. ему не хватает адресного пространства для нового блока (хотя память есть). Вроде все согласно документации.

А вот так новый блок выделиться в перераспределенном:

Код

C++ (Qt)
  //#1 - Откушано памяти: 19 Мб
  a = (int*) malloc(400*1024*1024*sizeof(int));
  //#2 - Откушано памяти: 1,5 Гб
  a = (int*) realloc(a, sizeof(int));          
  //#3 - Откушано памяти: 19 Мб
  b = (int*) malloc(399*1024*1024*sizeof(int));
  //#4 - Откушано памяти: 1,5 Гб
 
  qDebug() << a;
  qDebug() << b;
 

Вывод:
0x54087008
0x54487008

[spectre71]

Кроче, я тут проконсультировался. Абсолютно гарантировать что все точно так не могу, но схема работы с памятью примерна такова:
1) Программа имеет кучу(heap)
2) Максимальный размер кучи определятся системой.
3) Куча может иметь несколько страниц.
4) Страницы могут имет различный размер. Максимальный/минимальный размер страницы и их кол-во(для программы) видимо определяется процом и системой(не очень точно).
5) При выделении памяти программой идет просмотр страниц(в ее куче),
- если в одной из них есть свободный непрерывный кусок, то память выделяется из этой страницы
- если ни в одной нет, то идет запрос к системе на добавление страницы достаточного размера(к нашей куче) под запрашиваемый нами непрерывный кусок памяти
6) Память может быть выделена только из одной страницы!!!
7) Страницы памяти самой программой не могут быть объединены!!!

Собственно и получаем - последний пример(под Linux от BRE):

Код:

  a = (int*) malloc(400*1024*1024*sizeof(int)); 
// ОК получили страницу памяти 1600 MB 
// Имеем теперь 2 страницы в куче, изначальную, не очень большую и большую на 1600 MB
  a = (int*) realloc(a, sizeof(int));                    
// Освободили во второй странице 1600 MB без 4 byte
  b = (int*) malloc(400*1024*1024*sizeof(int)); 
// Просим 1600 MB. 
// В первой странице совсем мало памяти
// Во второй странице не хватает 4 байт
// Просим у системы новую страницу для програмной кучи под наши 1600 MB, облом, превысили лимит!

/* Во втором варианте */

  b = (int*) malloc(399*1024*1024*sizeof(int)); 
// А в данном случае во второй странице памяти хватило (1600 MB - 4 byte > 1596 MB)

Вот такая фигня

[SABROG]

Ну вот erase под WindowsXP у меня тоже не сработал (список стал пуст, а память осталась занятой), хотя clean работает идеально. Remove тоже работает, но медленно.
Еще Qt у меня отказалась выделять 800Мб памяти, выдало в консоль "Out of memory". При этом программа на BCB, основанная на обычном std::vector, спокойно выделила 2Гб памяти (в системе всего 1.5Гб ОЗУ).

Я так понимаю, чтобы решить проблему это надо в Qt некий аналог дефрагментатора памяти писать?

[spectre71]

Ну вот erase под WindowsXP у меня тоже не сработал (список стал пуст, а память осталась занятой), хотя clean работает идеально. Remove тоже работает, но медленно.
Еще Qt у меня отказалась выделять 800Мб памяти, выдало в консоль "Out of memory". При этом программа на BCB, основанная на обычном std::vector, спокойно выделила 2Гб памяти (в системе всего 1.5Гб ОЗУ).

Я так понимаю, чтобы решить проблему это надо в Qt некий аналог дефрагментатора памяти писать?

Читай топик выше, а лучше внимательно с самого начала, все уже разъяснили!
То что ты написал совершенно не относиться к делу, возможно ты не совсем понял о чем было обсуждение.