Russian Qt Forum

Есть примерно 58000 записей, я их через execBatch() забиваю в базу (СУБД ORACLE), на это уходит около 4 секунд..вопрос: если например запись в базу разбить на два потока, то можно ускорить запись? Хотя бы теоретически это возможно?

Должно помочь по идее. Делаете два треда, в каждом создаете коннекшен и половину записей батчите в одном, половину в другом

а еще очень могут помочь транзакции + query::prepare(), заместо query::exec(), если конечно это все уже не используется.

А мне кажется, что использование нескольких потоков ощутимого ускорения не добавит. Все равно запросы к одной таблицы на сервере будут в очередь складываться и выполняться последовательно.

Это уже надо тестировать. Фиг его знает что в оракле наворочено. Может там основное то время на коннект с сервером тратится.

Так а что тогда ускорят несколько потоков?

Терзают смутные сомнения что пока реально не требуется оптимизации именно кода пишущего в БД - лучше с потоками не эксперементировать.

Возможны интересные ситуации - например если одна из записей откажется вставляться в таблицу из-за "вторичного ключа", а записи вставляемые во втором потоке зависели бы от этой невставленной записи также по вторичному ключу...

Это конечно более актуально при вставке записей в разные таблицы, но все равно возможно.

похожая ситуация была у меня, только не Oracl (к сожалению), а с sqlite я работал. Надо было больше 100 000 insert запросов сделать побыстрее, тратилось времени полчаса на это дело, разбил всю операцию на транзакции (по 500 запросов в каждой), процесс теперь успевает в 3 минуты. Я понимаю что способ очень некрасивый, но другого не нашел.

Для SQLite можно асинхронный режим "PRAGMA synchronous = ON;" работы с хранилищем попробовать включить, вероятно результаты без транзакций и с транзакциями, при этом, будут примерно равны.

ЗЫ
Описка, "PRAGMA synchronous = OFF;" конечно же :)

А смотреть что именно тормозит не пробовал? :)
Тормозить может (грубо):
1. Подготовка данных для заливки.
2. Передача данных на сервер.
3. Обработка сервером.
Разбивая заливку на 2 потока скорость какой именно части изменится?

Да можно, это даст тот же эффект (не будет блокировки таблицы на каждом запросе)

PS: есть у меня подозрение, что Ораклу транзакции не сильно помогут, но надо тестить

http://www.linuxjournal.com/article/9602

Кстати в FB тоже такой режим есть Forced Write - при его выключении работа БД сильно ускорялась, в свое время как раз использовал для таких больших импортов...

Использовать транзакции - очень даже красивое решение :)
Разработчики сами предлагают такой путь (http://www.sqlite.org/speed.html).

Это кстати позволит отменить изменения целого блока - если одна из записей не всавилась, правде в некоторых серверах для этого еще удобнее savepoints.

Очевидно что первой и второй. Третья это черный ящик.

Но не в данном случае, так как у автора оптимальное решение - "пакетная обработка" (execBatch()).

На кроссплатформ.ру Litkevich Yuriy дельно посоветовал отключить все индексы таблицы, а после включить. Но для более точно ответа надо идти на sql.ru в ветку Oracle (http://www.sql.ru/forum/actualtopics.aspx?bid=3), там более компитентные люди в данном вопросе, да и сам вопрос ближе к работе с Oracle, нежели чем к Qt.

А второй почему? На машине 2 сетевые карточки и каждый поток будет слать по своей?  ;D
Ну а с первой нужно смотреть и мерить во что именно упирается скорость подготовки...

Короче всяко нужно сначала померить. :)

Ну и в базах обычно есть какие-то режимы или механизмы поддержки больших объёмов вставок. Но это нужно смотреть конкретно каждую базу.

П. С. В общем случае, мне кажется, с 2мя потоками ситуация скорее ухудшится так что без серьёзного профилирования я бы не стал их пускать. :)