Memory issues

[Igors]

Добрый вечер

Обнаружил проблему с памятью на своей платформе (Mac). Не хочу "предъявлять претензий" (все равно решать самому  ) но сообщить о проблеме по-моему надо.

----------------------------

Hello Qt

I've got a problem with QList memory allocation.

Platform: Mac OSX 10.5.2
Qt versioion:  4.5.2 (Carbon)

Problem description: memory is not released as it's expected. The listing is:

Код:

#include <QtCore/QCoreApplication>
#include <iostream>
#include <stdio.h>

#define  NUM_TEST   (200LL * 1024 * 1024)

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);
	
	int i;
	QList<int> theList; 
	for (i = 0; i < NUM_TEST; ++i)
		theList.append(qrand());

	printf("Press Enter 1\r");
	getc(stdin);
	
	theList.erase(theList.begin() + NUM_TEST / 4, theList.begin() + NUM_TEST / 4 * 3);

	printf("Press Enter 2\r");
	getc(stdin);
	
	return 0;
}

However, the Activity Monitor shows no memory released at point "2" (see screenshot). Using several such QList(s) I have qFatal (no memory exception) very fast. Looking source codes I can guess the problem is related with using  ::realloc that does not release memory in fact.

Thank you
Igor & Igor
(Russian Qt forum)

---------------------

[Winstrol]

Добрый вечер

Обнаружил проблему с памятью на своей платформе (Mac). Не хочу "предъявлять претензий" (все равно решать самому  ) но сообщить о проблеме по-моему надо.

Деструктор Qlist в точке 2 еще не отработал, поэтому и память не отдал.

[Tonal]

Кроме того, в точке 2 не вызывался деструктор QCoreApplication-а, а так же деструкторы глобальных и статических объектов, которые вызавутся только после окончания работы main.

Так что пока нужно учить язык а не багрепорты отправлять.

[Igors]

Деструктор Qlist в точке 2 еще не отработал, поэтому и память не отдал.

Деструктор здесь ни при чем. Я сказал контейнеру выкинуть половину элементов, но это не освободило часть памяти - занято столько же. 

[Winstrol]

Деструктор Qlist в точке 2 еще не отработал, поэтому и память не отдал.

Деструктор здесь ни при чем. Я сказал контейнеру выкинуть половину элементов, но это не освободило часть памяти - занято столько же. 

http://qt.nokia.com/doc/main-snapshot/qlist.html
Note that the internal array only ever gets bigger over the life of the list. It never shrinks. The internal array is deallocated by the destructor and by the assignment operator, when one list is assigned to another.

[Igors]

http://qt.nokia.com/doc/main-snapshot/qlist.html
Note that the internal array only ever gets bigger over the life of the list. It never shrinks. The internal array is deallocated by the destructor and by the assignment operator, when one list is assigned to another.

Оба-нв! Спасибо, я это просмотрел. Хорошо что запостил сначала здесь 
Но у меня и QVector не освобождает

Код:

#include <QtCore/QCoreApplication>
#include <iostream>
#include <stdio.h>
#include <QVector>

#define  NUM_TEST		(200LL * 1024 * 1024)

int main(int argc, char *argv[])
{
	QCoreApplication a(argc, argv);
	
	int i;
	QVector<int> theVector; 
	for (i = 0; i < NUM_TEST; ++i)
		theVector.append(qrand());

	printf("Press Enter 1\r");
	getc(stdin);
	
	theVector.resize(NUM_TEST / 2);

	printf("Press Enter 2\r");
	getc(stdin);
	
	return 0;
}

Есть ли какой-то контейнер который память нормально отдает?
Спасибо

[Winstrol]

Есть ли какой-то контейнер который память нормально отдает?
Спасибо

Не всегда можно память просто так отдать, если она большими кусками выделяется. Например, в стандартных stl-аллокаторах метода realloc нет. Для этого надо выделить новый кусок, скопировать туда то, что нужно сохранить, затем отдать весь старый кусок.
То есть заводишь временный контейнер, делаешь qSwap с используемым, затем, если такой метод есть, делаешь reserve с нужным новым размером контейнера, и копируешь туда что надо из старого. Все это делаешь в отдельном scope {}, чтобы при выходе из него память из временного объекта освободилась.

[spectre71]

При реализации подобных списков, обычно имеем:
- Count - кол-во элементов в списке
- Capacity - кол-во места под элементы списка
При добавлении элементов проверяется кол-во доступного места и при нехватке делается переаллокация обычно с запасом.
При удалении элементов кол-во доступного места под элементы не сокращается, соответственно память не освобождается.
Обычно для уменьшения кол-ва выделенной памяти (Capacity == Count или Capacity = Value) делается специальный метод. Насколько я понял в QList его нет и это очень плохо!
У QVector смотри:
void QVector::squeeze ()
int QVector::capacity () const
void QVector::reserve ( int size )

[Igors]

Для полноты картины (мол, чем проверяешь и можно ли этому верить).

Код:

	#define  NUM_TEST		(200LL * 1024 * 1024)

	int i, j;
	QVector<int> theVector[10]; 

	for (i = 0; i < 10; ++i) {
		theVector[i].reserve(NUM_TEST);
		for (j = 0; j < NUM_TEST; ++j)
			theVector[i].append(1);
		theVector[i].resize(2);
		theVector[i].squeeze();
	}		

Вылетает, консоль пишет

Код:

[Session started at 2009-09-14 13:11:02 +0300.]
realloc(508) malloc: *** mmap(size=838864896) failed (error code=12)
*** error: can't allocate region
*** set a breakpoint in malloc_error_break to debug

Ну вот, хотел наконец подучить стандартные классы да видно не судьба 

[Winstrol]

А так если?

Код

C++ (Qt)
#include <vector>
...
    int i, j;
    std::vector<int> theVector[10]; 
 
    for (i = 0; i < 10; ++i)
    {
        theVector[i].reserve(NUM_TEST);
        for (j = 0; j < NUM_TEST; ++j)
            theVector[i].push_back(1);
        theVector[i].resize(2);
        {
            std::vector<int> t;
            std::swap(theVector[i],t);
            theVector[i]=t;
            std::cout << theVector[i].capacity() << std::endl;
        }
    }

[spectre71]

Так работает

Код

C++ (Qt)
	QVector<int> *theVector1; 
	QVector<int> *theVector2; 
 
	theVector1 = new QVector<int>;
	theVector1->reserve(200*1024*1024);
	theVector1->squeeze();
	delete theVector1;
 
	theVector2 = new QVector<int>;
	theVector2->reserve(200*1024*1024);
	delete theVector2;

Так падает

Код

C++ (Qt)
	QVector<int> *theVector1; 
	QVector<int> *theVector2; 
 
	theVector1 = new QVector<int>;
	theVector1->reserve(200*1024*1024);
	theVector1->squeeze();
 
	theVector2 = new QVector<int>;
	theVector2->reserve(200*1024*1024);
 
	delete theVector1;
	delete theVector2;

хотя до theVector1->reserve - Mem Usage & VM Size < 10MB
после theVector1->reserve - Mem Usage & VM Size > 700MB
а после theVector1->squeeze- Mem Usage & VM Size снова < 10MB

Видно что squeeze освобождает память! Не могу понять прикола, в чем разница между этими двумя вариантами?

[spectre71]

Как ни странно, но Igors прав! Это явный глюк QVector, осталось понять в чем он заключается.
Тест на моем классе проходит отличнно.
sbw::Indices - аналогичен QVector<int> (тоже список int, но без template, полностью своя реализация)

Код

C++ (Qt)
	sbw::Indices* theVector1; 
	sbw::Indices* theVector2; 
 
	theVector1 = new sbw::Indices;
	theVector1->maxCapacity(250*1024*1024);
	theVector1->minCapacity();
 
	theVector2 = new sbw::Indices;
	theVector2->maxCapacity(250*1024*1024);
 
	delete theVector1;
	delete theVector2;
 

C Mem Usage & VM Size на соответствующих шагах все точно так же! Но без падения!

[Igors]

А так если?

Winstrol, я Вас понял, но при этом теряется удобство/простота. Плюс для больших данных неизвестно хватит ли памяти для "переброски". Поэтому я себе соорудил велосипед из chunk'ов 

[SABROG]

Видно что squeeze освобождает память! Не могу понять прикола, в чем разница между этими двумя вариантами?

Разница похоже в squeeze, не срабатывает что ли. В первом случае первые 800Мб освобождает delete и второй вектор выделяет снова 800Мб. Во втором случае squeeze похоже ничего не делает в итоге идет попытка откушать память до 1600Мб.

Про squeeze() написано, что он освобождает память, которая не требуется для содержания элементов. Есть мысль, что через метод reserve() мы эту память делаем "нужной" для содержания элементов. Возможно нужно делать все-таки clean/erase + resize.

[Igors]

Как ни странно, но Igors прав! Это явный глюк QVector, осталось понять в чем он заключается.

Из Ваших примеров я не могу понять почему я прав

На Mac есть подлянка с ::realloc и т.к. Qt его активно использует...
Про Вындоуз не знаю.