Последовательное открытие большого количества файлов

[YvenTitan]

Здравствуйте
У меня задача передать по сети около 100 000 файлов размером от 100 килобайт до 1 мегабайта. Скорость важна.

Проблема в том, что на открытие каждого файла уходит около 30 миллисекунд. При этом передача файла идет меньше 10 мс.

Если файлов не 100 000, а 1500, то работает нормально. Если 2000, то медленно открывает.

Тестовый код такой (тут не посылаю никуда файл):

Код:

#include <QCoreApplication>
#include<QFile>
#include<QDir>
#include<QTime>
#include<QDebug>

const QString folderPath = "D:\\ForSend\\FolderSend";
const QChar subdirSeparator = '\\';

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);

    QDir dir(folderPath);
    QStringList dirFiles = dir.entryList(QDir::Files|QDir::NoDotAndDotDot|QDir::Hidden);
    for (QStringList::const_iterator it = dirFiles.begin(); it != dirFiles.end(); ++it) {
        QString fullPath1 = folderPath + subdirSeparator + *it;
        QFile f(fullPath1);
        QTime t1 = QTime::currentTime();
        f.open(QIODevice::ReadOnly);
        QTime t2 = QTime::currentTime();
        f.close();
        qDebug() << t1 << endl << t2 << endl << *it;
    }
    return a.exec();
}

Операционная система: Windows 10. Замена QFile на FILE* в стиле С не меняет дело.

Подскажите, пожалуйста, в чем может быть причина задержки при открытии файлов?

[kambala]

в файловой системе и/или ОС

[YvenTitan]

Что можно сделать, чтобы избежать больших задержек при открытии файлов?

[kambala]

если надо просто передать столько файлов, проще сделать это в архиве (может быть в нескольких)

[YvenTitan]

Одно из условий задания - передавать много маленьких файлов

Может что-то с таблицей дескрипоров происходит (например, переполнение), но я не знаю, как проверить это гипотезу

[kambala]

попробуй передавать пачками по паре тысяч. как только текущая пачка передалась, запускаешь следующую.

[YvenTitan]

Ты имеешь в виду, открыть сразу пару тысяч файлов, передать, закрыть; после этого опять открыть пару тысяч файлов, передать и закрыть?

[kambala]

ну примерно, да. можно еще небольшие задержки попробовать ставить между пачками.

[YvenTitan]

Не помогло
Если открываю 1000 файлов, потом закрываю 1000 файлов, делаю паузу 5 секунд, потом открываю следующую 1000, то на этой второй тысяче файлы начинают открываться медленнее.

Код:

#include <QCoreApplication>
#include<QFile>
#include<QDir>
#include<QTime>
#include<QElapsedTimer>
#include<QDebug>

const QString folderPath = "D:\\ForSend\\FolderSend3";
const QChar subdirSeparator = '\\';

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);

    QDir dir(folderPath);
    QStringList dirFiles = dir.entryList(QDir::Files|QDir::NoDotAndDotDot|QDir::Hidden);
    int counter = 0;
    QElapsedTimer timer;
    for (QStringList::const_iterator it = dirFiles.begin(); it != dirFiles.end(); ++it) {
        QString fullPath1 = folderPath + subdirSeparator + *it;
        QFile f(fullPath1);
        QTime t1 = QTime::currentTime();
        f.open(QIODevice::ReadOnly);
        QTime t2 = QTime::currentTime();
        //f.close();
        qDebug() << t1 << endl << t2 << endl << *it << counter;
        counter++;
        if(counter == 1000){
            counter = 0;
            timer.start();
            while (timer.elapsed() < 5000) {
                continue;
            }
        }
    }
    return a.exec();
}

Если перезапустить приложение, то 1000 файлов опять быстро открывает.

Как будто надо что-то почистить, обновить...

[kambala]

может еще в однопоточности дело

а ты тестировал с реальной передачей по сети? а то тут только игрушечный код у тебя.

[YvenTitan]

Тестировал, скорость выходит в разы меньше, чем при передаче одного большого файла. Я написал про передачу файлов, потому что мог возникнуть вопрос: "Зачем в реальных задачах открывать и закрывать тысячи фалов?"
Как предлагаешь тут многопоточность применить? Один поток открывает файл, а другой передает по сети?

[kambala]

Тестировал, скорость выходит в разы меньше, чем при передаче одного большого файла

это ожидаемо

Как предлагаешь тут многопоточность применить? Один поток открывает файл, а другой передает по сети?

можно и так попробовать. можно сделать пул потоков, каждый из которых будет работать со своей пачкой файлов.

Одно из условий задания - передавать много маленьких файлов

а как само задание звучит? может можно придумать другой подход?

[panAlexey]

Попробуй раскопировать в папки по 500 файлов и оттуда отправлять.
дело явно в фс.

[YvenTitan]

можно и так попробовать. можно сделать пул потоков, каждый из которых будет работать со своей пачкой файлов.

В принципе это выход из ситуации: сделать пул из 10-20 потоков, которые только открывают файлы и посылают дескриптор в очередь другого потока, который вычитывает данные из файлов, посылает по сети и закрывает файлы. Технически не самое простое решение + непонятно, как поведет себя файловая система, если сразу 10 потоков начнут открывать файлы. Предположу, что задержки могут увеличиться с 30 мс. Тут пока не попробуешь, точно не скажешь

а как само задание звучит? может можно придумать другой подход?

Мне перефразировали так: "Написать передающую и приемную части программ, которые передают по сети файлы с высокой скоростью по заданному протоколу". 100 000 файлов - это крайний случай, который должна выполнять программа.

Попробуй раскопировать в папки по 500 файлов и оттуда отправлять.

Попробовал. Не помогло.
Еще попробовал под Линуксом запустить показанный вариант - все работает!
Было бы здорово понять, можно ли что-то сделать (как-то настроить) с файловой системой винды, чтобы не было задержек при открытии файлов

[kambala]

Мне перефразировали так: "Написать передающую и приемную части программ, которые передают по сети файлы с высокой скоростью по заданному протоколу". 100 000 файлов - это крайний случай, который должна выполнять программа.

не вижу где тут запрет на сжатие файлов

Было бы здорово понять, можно ли что-то сделать (как-то настроить) с файловой системой винды, чтобы не было задержек при открытии файлов

можно попробовать RAM disk, раз файлы мелкие