Russian Qt Forum

Необходимо распарсить сетевые пакеты, проходящие через
прокси, в которых содержатся SQL запросы, извлечь эти запросы из пакетов и записать их
в файл в виде текста (по одному запросу в строке, структура неважна)

Вот этой части не нашел. В обработчике только вывод в cout.

C++ (Qt)
data_handler
 

C++ (Qt)
void run(std::ostream & logger, const received_data_handler_t & data_handler);
 

Необходимо распарсить сетевые пакеты, проходящие через
прокси, в которых содержатся SQL запросы, извлечь эти запросы из пакетов и записать их
в файл в виде текста (по одному запросу в строке, структура неважна).

По идее SQL запросы необходимо собирать из сетевых пакетов.
При этом пакеты могут неожиданно разрываться и слипаться между собой.
Должен быть какой-то признак окончания запроса (м.б. символ";").

Так а проксик то работает? :)

а почему m_remote_sd один ? если я правильно понял задачу - будет, например 10 клиентов к прокси, которая сделает 10 коннектов к БД

а как сервер через прокси ответит нужному клиенту (о выполнении запроса) если он не знает кому ?

Логика должна быть другой, на старте поднимается только сокет, который принимает подключения от клиентов.
При подключении нового клиента, выполняем подключение к серверу и после этого имеем пару сокетов client-proxy и proxy-server, вот все что приходит по первому сокету, нужно отправить во второй и наоборот. Если один из сокетов закрывается, то нужно закрыть и второй.
Как правило эти два сокета храняться в объектах, которые называют session. :)

Дожидается ответа и шлёт ответ клиенту

теперь ясно )

а как решается проблема, что трафик между клиентом, например psql, и сервером - это не plain text и вычленить sql запросы не очевидно как ?

C++ (Qt)
proxy.run(std::cout, [&](const std::string & data)
        {
            auto query_list = sandbox::get_sql_query(data);
            for (const auto & query : query_list)
                out << query << std::endl;
        });
 

C++ (Qt)
#ifndef SQL_PARSER_H
#define SQL_PARSER_H
 
#include <regex>
#include <string>
#include <list>
 
namespace sandbox {
 
inline std::list<std::string> get_sql_query(const std::string & src)
{
    std::regex query_regex("(SELECT[^;]+;)");
 
    auto query_begin = std::sregex_iterator(src.begin(), src.end(), query_regex);
    auto query_end = std::sregex_iterator();
 
    std::regex r("\\n");
 
    std::list<std::string> result;
 
    for (std::sregex_iterator i = query_begin; i != query_end; ++i)
    {
        std::smatch match = *i;
 
        result.push_back(std::regex_replace(match.str(), r, " "));
    }
 
    return result;
}
 
} /* namespace sandbox */
 
#endif // SQL_PARSER_H
 

Я пока предполагаю, что это просто plain text в котором могут быть sql запросы.

А если запрос получен не полностью?
Например, получили только
"SELECT * FRO"
а остаток прилетит позже?

C++ (Qt)
char buffer[buff_size];
memset(buffer, 0, buff_size);
int rc = recv(m_fds[i].fd, buffer, buff_size - 1, 0);
 

Как мне узнать, что ответ получен не полностью и ожидается продолжение?

Прочитал очередную порцию данный (chunk) добавил к общему буферу.
А дальше уже смотришь, если в общем буфере получена команда полностью (от SELECT и до ';'),  то выкусываем ее из буфера и обрабатываем, иначе ждем оочередной чанк.

никак - tcp потоковый протокол
для этих целей делают логический пакет "[размер][данные]"

При подключении нового клиента, выполняем подключение к серверу и после этого имеем пару сокетов client-proxy и proxy-server, вот все что приходит по первому сокету, нужно отправить во второй и наоборот. Если один из сокетов закрывается, то нужно закрыть и второй.
Как правило эти два сокета хранятся в объектах, которые называют session. :)

Как мне узнать, что ответ получен не полностью и ожидается продолжение?

И еще момент, лучше разделять запросы по ';' не смотря на 'SELECT'.
В SQL есть и другие команды, кроме выборки данных (SELECT). :)

Посмотрел трафик postgresql, там бинарный формат, но очень простой.

и все это надо сделать как тестовое задание ? )

Разработать на C++ TCP прокси-сервер для СУБД Postgresql с возможностью логирования
всех SQL запросов, проходящих через него. Документация по сетевому протоколу этой
СУБД доступна на официальном сайте.
Для выполнения тестового задания нужно использовать Berkley sockets (select/poll/epoll).
Прочих зависимостей быть не должно.
Прокси должен уметь обрабатывать большое количество соединений без создания потока
(thread) на каждое соединение. Необходимо распарсить сетевые пакеты, проходящие через
прокси, в которых содержатся SQL запросы, извлечь эти запросы из пакетов и записать их
в файл в виде текста (по одному запросу в строке, структура неважна). Для того, чтобы в
прокси были видны SQL запросы в незашифрованном виде, необходимо отключить SSL
(на клиенте и/или сервере). Должна присутствовать минимальная обработка ошибок, так
же желательны комментарии в тех местах, где возможны ошибки. Приложение не должно
падать на нескольких десятках одновременных соединений, выполняющих запросы к
СУБД без перерыва в течение 5 минут (можно использовать sysbench для тестирования).
Операционная система Linux, компилятор – GCC, так же необходимо создать файл для
сборки проекта с помощью cmake или make.
 
Цель выполнения тестового задания – проверка профессиональных навыков кандидатов
на вакантную позицию. Написанный Вами код не будет использоваться в продуктах
компании или передан третьим лицам. Результат выполнения тестового задания можно
выложить на github.com под любой лицензией во избежание использования Вашего кода.

А если запрос получен не полностью?
Например, получили только
"SELECT * FRO"
а остаток прилетит позже?

Результатов пока нет?  :)

Результатов пока нет?  :)