Простой (?) поиск

[ViTech]

Да все товарищи правильно поняли как и положено профессиональным программистам. Если данные "не лезут в память" то описание с этого и начинается. Если я об этом не упомянул - значит этой проблемы нет. Так же и с изменением данных "на лету", это совсем др задача. Стало быть речь идет о самой банальной ситуации - построить структуры для поиска один раз, и затем искать многократно. Ну и чего тратить время и место на совершенно ненужные "выяснения" (хз чего) ?

Так вот значит какая логика должна быть .

Украли у мужика корову. Приходит он домой и говорит сыновьям:
- У нас корову украл какой-то мудак.
Старший брат: — Если мудак — значит маленький.
Средний брат: — Если маленький — значит из Малиновки.
Младший Брат: — Если из Малиновки — значит Васька Косой.
Все выдвигаются в Малиновку и там прессуют Ваську Косого.
Однако Васька корову не отдает. Его ведут к мировому судье.
Мировой судья:
- Ну… Логика мне ваша непонятна. Вот у меня коробка, что в ней лежит?
Старший брат: — Коробка квадратная, значит внутри что-то круглое.
Средний: — Если круглое, то оранжевое.
Младший: — Если круглое и оранжевое, то апельсин.
Судья открывает коробку, а там и правда апельсин.
Судья — Ваське Косому:
- Косой, отдай корову.

[NoIdea]

вот чего накидал:

Ну все-таки надо думать о производительности и расходе ресурсов (хотя бы иногда  ). Создавать многочисленные контейнеры на каждом поиске - ну это уж слишком

Если объектов десятки-сотни миллионов, тогда поиск лучше возложить на БД.
Что касается производительности, то поиск по хешу О(1) в среднем. Пересечение только замедлить может.
Ну в общем, принцип пересечения подмножеств я предложил, дальше вам решать, подойдёт ли он под конкретную задачу.
ps: у меня в проекте с 300-2000 тыс объектов подобные индексации используются, производительности хватает, памяти на индексирование до 200мб жрется.

Занятно, интересно сравнить по производительности и ресурсам с БД в памяти:
http://doc.qt.io/qt-5/qtsql-cachedtable-example.html

Код

C++ (Qt)
    QSqlDatabase db = QSqlDatabase::addDatabase("QSQLITE");
    db.setDatabaseName(":memory:");
    // ...

[RedDog]

Занятно, интересно сравнить по производительности и ресурсам с БД в памяти:
http://doc.qt.io/qt-5/qtsql-cachedtable-example.html

Код

C++ (Qt)
    QSqlDatabase db = QSqlDatabase::addDatabase("QSQLITE");
    db.setDatabaseName(":memory:");
    // ...

На указанных объёмах данных, примерно монопенисуально, в пределах погрешности измерений, и даже файловый вариант БД приемлемые результаты показывает.
Оптимизация не идёт уже в ключе выбора хранилища данных, а идёт в ключе минимизации обращения к ним, разбиения на подмассивы (в БД отдельные таблицы), прикручивания различного распараллеливания и пр.
Удобство БД в том, что она инкапсулирует много рутинной работы, например то же пересечение множеств в любом виде, делается одной строкой.