Правильное использование многопоточности

[egorsmkv]

Задача очень простая - распарсить построчно большой лог.

В языке Go существуют легковесные потоки - Gorutines. С их помощью эта задача выполняется довольно быстро.
Но как это сделать в Qt?

Сейчас я создаю список QFuture и добавляю в него задачи парсинга:

Код:

QString line = "hello";
futureList << QtConcurrent::run(this, &ParserThread::parseLine, line);

При таком подходе всё работает, но для не слишком больших логов. Если дать лог на более чем 1 миллион строк, то программа начинает подвисать из-за того, что задачи добавляются в futureList.

В какую сторону мне смотреть, чтобы, так сказать, плавно их ставить в очередь на парсинг?

[Igors]

Необязательно, но вполне возможно Вы столкнулись с типовой проблемой "кластер слишком мал". Попробуйте объединять строки в пачки напр по 100 (или 1000, подберете), и их уже скармливать

[egorsmkv]

Да, тоже думал, что машина просто не справляется, но о таком решении не догадался. Сейчас буду тестировать.

[egorsmkv]

Потребление памяти значительно снизилось из-за уменьшения создания новых QFuture.

[egorsmkv]

И того: проблема осталась - программа подвисает.

Попробую сделать через QThreadPool и QRunnable. По результатам отпишусь.

[Igors]

И того: проблема осталась - программа подвисает.

Попробую сделать через QThreadPool и QRunnable. По результатам отпишусь.

Может лучше разобраться почему/где подвисает.

[egorsmkv]

У меня после парсинга строки идёт её запись на диск. Уверен, что из-за этого программа начитает подвисать.

[Old]

У меня после парсинга строки идёт её запись на диск. Уверен, что из-за этого программа начитает подвисать.

Порядок строк в выходном файле не важен? Он может отличатся от исходного файла.

Можно использовать одну нить для чтения строк из исходного файла и заполнения очереди для обработки, несколько рабочих ниток для распарсивания и заполнения очереди для сохранения и нитка для сохранения результирующих строк. Чтение и запись буферизированные, т.е. прочитали большой кусок в память - побежали разбивать на строки, и формируем буфер для записи в памяти с результирующими строками и запись их одной операцией.

Или разделить исходный файл на несколько кусков, по количеству рабочих потоков, и отдать каждый кусок своему потоку. А поток уже будет вычитывать строку из своего куска, парсить ее и сохранять результат.

[egorsmkv]

Не важен.

Второй вариант больше нравится из-за своей простоты. Попробую его тоже сделать.

[Авварон]

И того: проблема осталась - программа подвисает.

Попробую сделать через QThreadPool и QRunnable. По результатам отпишусь.

Футура и есть обертка над QRunnable

[Igors]

У меня после парсинга строки идёт её запись на диск. Уверен, что из-за этого программа начитает подвисать.

Это легко проверить отключив запись. Можно каждой нитке дать свой выходной файл, или использовать мутексы для записи (подход тот же, лочится запись "пачки" строк).

[egorsmkv]

Докладываю, как и обещал.

Я ошибался говоря, что подвисание окна происходит из-за активной записи на диск (она происходит в другом потоке). Оказалось всё намного прозаичнее: у меня в программе присутствует прогресс-бар, который обновляется, когда парсинг одной строки завершен. Из-за этого программа и подвисала - из-за частого обновления прогресс-бара.

P.S. также сделал с QtConcurrent запуск/остановку/возобновление/остановку потоков. Вот проект, кому интересно - https://yadi.sk/d/qUh0x_rXnprSV https://yadi.sk/d/US55QXNJnr6am

[fdfsdfgjfh]

ссылка битая

[egorsmkv]

Исправил

[gil9red]

Исправил

Освойте https://github.com/ / https://bitbucket.org/ -- проще же будет проекты хранить, иметь к ним доступ, тут и знания о контролях версий появятся, а они в it-компаниях всегда используются, да и не нужно будет перезаливать
Не раз было, что в некоторых статья на хабре можно было встретить, выложенный автором проект на файлообменник, ссылка которого, конечно, давно дохлая