Работа с большими объёмами данных.

[Old]

Как я понял из первого поста, то основная задачи программы быстро проверить уникальность по хешу.
Тогда можно снизить объем занимаемой памяти, за счет путей к файлам. В памяти хранить только хеши и уникальные id путей. А пути загружать только для нужных хешей с диска. И держать их в кеше, что бы не используемые убирались.
Но наверное лучше сразу перейти на БД.

[Bepec]

Хм Хм Хм.

Выпал в осадок на третьем компиляторе при сборке leveldb noSql.  Неужели нет никаких стандартов по составлению мейкфайлов?

Вроде пишут что под винду портирована, вот только как её собрать? Чесслово в растерянности. Жуткая всё же вещь этот линукс.

[xokc]

А тут смотрел?
http://code.google.com/p/leveldb/source/browse/WINDOWS?name=windows

[Bepec]

Кхм. То ли у меня истерика после отпуска  

Там для 2010, не могу сообразить как для 2008 сотворить. Пробую.

Кхм. Как весело оказывается собирать проекты Особенно под x64, особенно с непонятными инклудами

PS отложил до вечера. А то чую уже нервничать начинаю

[Igors]

Здесь еще такой момент. 2.5 * 150 = заметно меньше даже 1 гига, Возможно (просто возможно, необязательно) падает на попытке выделить слишком большой блок памяти. Напр QHash, насколько я помню, хранит данные 1 блоком. Во всяком случае не все ОC позволяют выделять "сколько хочу" даже если физически память есть.

[Bepec]

Igors, вы правы, заметно меньше. Но в довесок к этой информации идёт путь к файлу. Который до 1024 символов к сожалению.

Уважаемый old предложил как раз уменьшить потребление в виде сохранения путей в индексированном контейнере на диске.

[xokc]

Кхм. Как весело оказывается собирать проекты Особенно под x64, особенно с непонятными инклудами
PS отложил до вечера. А то чую уже нервничать начинаю

Собрал под VS2012 x64. Есть нюансы .
1. LevelDb качать отсюда: https://nodeload.github.com/Reactive-Extensions/LevelDB/zip/master
Там есть солюшен для сборки
2. Качаем boost 1.53.
3. Если не хотим собирать еще и boost качаем уже собранные lib отсюда
http://boost.teeks99.com/bin/boost_1_53_0-vc64-bin.exe
4. Распаковываем boost и прописываем в переменную окружения BOOST путь к распакованному boost
5. Открываем LevelDB.sln в VS и проверяем, что в путях для lib указан правильный путь к boost lib.
6. Добавляем конфигурацию для x64 (если нужно), Build Solution - в папке x64\Release получаем LevelDB.dll

P.S. Подозреваю, что в Linux это всё собралось бы парой команд в консоли.

[Bepec]

Да вот собственно и злость у мну возникает, когда в линуксе собирается одной командой, а вот блин на винде необходимо пляски устраивать с бубном. (не относится к новому солюшему, если уж в нём есть готовый проект.)

PS да и есть у меня подозрение непроверенное что там файл проекта VS2012. Который для VS2008 является "просто неизвестной версией файла проекта".

[xokc]

PS да и есть у меня подозрение непроверенное что там файл проекта VS2012. Который для VS2008 является "просто неизвестной версией файла проекта".

Точно, что не 2012 - у меня конвертировалось под 2012. Но может быть 2010