Подключение к БД и постобработка данных

[Old]

Я получил файл в 85 Гб.

Взяли бы вы сразу БД по серьезней.
IMHO, sqlite не очень подходит для таких объемов.

[Bepec]

sqlite все таблицы кроме BLOB в стрингах хранит, экономия сомнительная.
Переводите всё в бинарник.

[__Heaven__]

Спасибо за советы - буду думать

[__Heaven__]

sqlite все таблицы кроме BLOB в стрингах хранит, экономия сомнительная.
Переводите всё в бинарник.

Я сгенерировал небольшую таблицу, состоящую из double и открыл через текстовый просмотрщик. Своих цифр в виде текста я не нашёл.

[__Heaven__]

Взяли бы вы сразу БД по серьезней.

К сожалению, прав админа у меня нет и приходится выкручиваться как есть.
Задачей является выгрузка информации и передача её другому сотруднику для обработки. С sql он не знаком.
Если брать БД серьёзнее, то её нужно поставить на 2 pc (прав нет, но можно портабл, например psql), настраивать сеть я тоже не имею прав, а потом нужен интерфейс для вывода данных и применения фильтров, основной это ввод диапазона значений.

[Old]

К сожалению, прав админа у меня нет и приходится выкручиваться как есть.

Как-то странно. Вы там играетесь или задачу решаете?
Если второе, то админ должен был сам поднять сервер БД, предоставить вам с коллегой к нему доступ, что бы ваша программа сохраняла данные, а ваш коллега в тоже время их мог обрабатывать.
А сейчас вы как эти файлы будете передавать? По сети или флешками? А если флешки начнут дохнуть вместе с данными? Или для вас полученные данные не важны?

[__Heaven__]

Согласен - маразм но проще так, чем доказывать, что мне нужна БД через 8 инстанций. Такая, блин, система...
Передаю через внешний винт.

[__Heaven__]

Попробуй из Кьюта открыть базу и поделать запросы.

Может я чего-то не понимаю...

Код

C++ (Qt)
QSqlQuery query(db);
qDebug() << query.exec("SELECT * FROM Composition;");
qDebug() << query.size();
 

Вывод

true
-1

[Old]

bool QSqlDriver::hasFeature(DriverFeature feature) const

QSqlDriver::QuerySize   1   Whether the database is capable of reporting the size of a query. Note that some databases do not support returning the size (i.e. number of rows returned) of a query, in which case QSqlQuery::size() will return -1.

[__Heaven__]

Спасибо, я почему-то подумал, что sqlite не относится к таковым...

Попробуй из Кьюта открыть базу и поделать запросы.

Пантер, на что хотел натолкнуть?

Код

C++ (Qt)
    QSqlQuery query(db);
    QTime time;
    time.start();
    qDebug() << query.exec("SELECT * FROM Composition WHERE C = 0.2 AND Si = 0.5 AND V = 0.03;");
    qDebug() << time.elapsed();
    int count = 0;
    while (query.next())
        ++count;
    qDebug() << time.elapsed();
    qDebug() << count;
 

true
36183
678940
1227256

Диспетчер процессов показал, что на время запроса было задействовано 1 ядро 100% (xenon e5 3.6GHz), а на время цикла в поле диск значение колебалось от 160 до 210 Мб/с.

[Пантер]

А что тебе с данными нужно сделать?

[__Heaven__]

Конкретно до конца сам не понимаю, так как другой человек будет ими заниматься. А так он собирается выводить по диапозонам, смотреть на цифры. Как-то так...

[__Heaven__]

Глобальная задача такая. Есть некая модель, критерий, по которой идёт расчёт. Если критерий удовлетворительный, то модель адекватная, если нет - нет.
Необходимо выделить группы по хим. составу, в которых модель работает стабильно, а в каких нет.