Игнорирование комментариев при парсинге.

[m_ax]

Что значит не принципиально?
Комментарии всегда начинаются с определённой последовательности и заканчиваются определённой последовательностью. Обязательно.

Т.е. я имел в виду, что комменты могут начинаться и заканчиваться и с более чем одного символа) 
(Не правильно выразился))

[Igors]

В этих примерах комментарий начинается от // и #, а заканчивается eol (концом строки).

Так eol не фиксирован, все 3 варианта (\n, \r, \n\r) актуальны. И возникает неприятный эффект: "сожрав" eol для комментариев теряем индекс текущей строки. И старая проблема вложенности никуда не делась, напр

"start quote
void foo(); // "
end quote"

Код

C++ (Qt)
template <class T = char>
class tex_string_iterator : public std::iterator<std::bidirectional_iterator_tag, T, ptrdiff_t, const T*, const T&>
 

Ну как всегда: "вынос мозга" я получаю сразу же, а вот до удобства юзания далековато Мельком глянул BibText, вроде все норм, мой велик прокатит. Ставлю {}, получаю "первый левель", затем парсю содержимое по иерархии. Как у Вас это сделать - не знаю.

Но хотелось бы и другие соображения/подходы пообсуждать.

Как насчет отслеживания (номера) текущей строки? Это необходимо хотя бы для выдачи ошибки

[Old]

Так eol не фиксирован, все 3 варианта (\n, \r, \n\r) актуальны.

Ну и что? Как это отменяет завершение одно строчных комментариев?

И возникает неприятный эффект: "сожрав" eol для комментариев теряем индекс текущей строки.

Так "сжирайте" его с умом, что бы таких детских проблем не было.

И старая проблема вложенности никуда не делась, напр

Еще одна выдуманная проблема?
Здесь нужно пропускать все от start quote до end quote, вообще все.
Но номера строк продолжать считать, ну если делать с умом.

[m_ax]

Ну как всегда: "вынос мозга" я получаю сразу же, а вот до удобства юзания далековато..

Напротив, это удобно: я пользуюсь всё теми же регулярками и токенайзерами.. Единственное что изменилось - в boost::regex, boost::tokenizer теперь используют не string::const_iterator, а пользовательский tex_string_iterator

Код

C++ (Qt)
boost::regex expr("([#\\\\][^\\n]*)");
 
    std::string buffer = "Te#st\nyy\\yy ";
 
    tex_string_iterator<char> iter(buffer.begin(), buffer.end(), expr);
    tex_string_iterator<char> end(buffer.end(), buffer.end(), expr);
 
    for (; iter != end; ++iter) {
        std::cout << *iter;
    }
 

Вывод:

Код

Bash
Teyy
 

Как насчет отслеживания (номера) текущей строки? Это необходимо хотя бы для выдачи ошибки

Никаких проблем не вижу.. Зная позицию пользовательского итератора, я всегда могу сказать на какой строчке он находится.. поскольку этот итератор указывает на позицию в исходной строке..
Комментарии никуда не деваются: пользовательский итератор их просто пропускает (если встречает при декрементировании/инкрементировании)
  

[Igors]

Никаких проблем не вижу.. Зная позицию пользовательского итератора, я всегда могу сказать на какой строчке он находится.. поскольку этот итератор указывает на позицию в исходной строке..

Я так понял "исходная строка" - это весь текст (ну или его часть, но неск строк), поэтому получить из позиции номер строки не так уж просто. А читая строку за строкой теряем "контекст" (напр след строка должна знать что коммент открыт)

Здесь нужно пропускать все от start quote до end quote, вообще все.

Надо-то надо, но каким образом?

Но номера строк продолжать считать, ну если делать с умом.

Ах, оказывается надо делать, да еще и "с умом"! А я-то думал что с таким мощным инструментарием делать придется минимум 

[Old]

Надо-то надо, но каким образом?

Считайте номера строк не в пользовательском коде, а в самом вашем анализаторе.
Указатель прошел eol -> инкремент номера.
Вот в мощном инструментарии это можно сделать в итераторе.

А я-то думал что с таким мощным инструментарием делать придется минимум  

Я бы не назвал ваш анализатор мощным инструментарием: у него детские ситуации вызывают огромные проблемы.
А в мощных инструментариях все есть из коробки: и номер строки, и номер столбца, а при необходимости можно написать даже свое поведение.

[Igors]

Я бы не назвал ваш анализатор мощным инструментарием: у него детские ситуации вызывают огромные проблемы.

Не стоит считать себя "взрослым" - Вы еще очень юны 

А в мощных инструментариях все есть из коробки: и номер строки, и номер столбца, а при необходимости можно написать даже свое поведение.

Та может быть, но такого пока не вижу. Зато уже длинная сопля темплейтов и какая-то вариация regexp, в который тоже придется вникать Отмазки ТС не кажутся мне убедительными

Сейчас, к сожалению, моя задача не сводится к банальному разбиванию текста на токены..

Чего это она "не сводится"? По-моему прекрасно сводится. Если я не в курсе каких-то нюансов BibText - поясните на примере.

[Old]

Не стоит считать себя "взрослым" - Вы еще очень юны  

Нет проблем, я вам уже говорил, сороковник это не возраст для мужчины.

Та может быть, но такого пока не вижу.

Ну и что?
Здесь не школа, что бы каждую мелочь разжевывать.

Зато уже длинная сопля темплейтов и какая-то вариация regexp, в который тоже придется вникать

Еще раз, ну и что?
Проблемы индейцев шерифа не волнуют. Не вникайте.

Отмазки ТС не кажутся мне убедительными

Всем наплевать.

Мы обсуждаем конкретный вопрос, никому ненужно вас в чем-то переубеждать или уговаривать разбираться.
Так же не интересно заново обсуждать проблемы вашего анализатора, для этого уже есть тема.

[Igors]

Всем наплевать.

Вы уже неск раз прибегаете к этой формуле которая звучит поразительно глупо Вас никто не уполномачивал выражать мнение "всех" И если мне плевать - то я просто не стану тратить на это слова и время. Чего попусту "хлопать крыльями"? 

Мы обсуждаем конкретный вопрос, никому ненужно вас в чем-то переубеждать или уговаривать разбираться.Так же не интересно заново обсуждать проблемы вашего анализатора, для этого уже есть тема.

m_ax предложил обсудить др подходы - вот я и обсуждаю. И мне лично неясно чем же простецкая разбивка на токены плоха в данном случае. Да, в своем парсере я действовал именно так - но ведь просто потому что я так думаю, это совсем не значит что я навязываю свое решение.

[Old]

вот я и обсуждаю.

Так а где вы обсуждаете?
Я пока увидел, только детские расстройства: так длинно, там не понятно, а этого я вообще не вижу.

Если бы вам это было нужно, вы бы думали и разбирались (вся нужная для этого информация в теме уже есть), а так вы просто капризничаете.

Вы уже неск раз прибегаете к этой формуле которая звучит поразительно глупо

Это единственный способ прекратить ваши повествования о себе.

[m_ax]

Igors, давайте пока абстрагируемся от конкретных реализаций.. Шаблоны-не шаблоны - это сейчас не так важно..
Важен сам концепт. У меня такое ощущение, что мы о разных вещах говорим(

Объясню ещё раз, почему для меня тема с комментами здесь актуальна.. На очень простом примере.

Вначале была задача:
Имеется текст. В тексте встречаются выражения такого вида \command{ arg1, arg2, arg3, ... argN}, где  \command - это некоторая команда, arg1, ... argN - список её аргументов. Число аргументов не фиксировано.
Нужно извлечь из текста список всех аргументов (без повторений, в порядке их появления в тексте).

Эта задача решается просто. Один из вариантов решения - это вначале пройтись регуляркой и выцепить содержимое того что содержится в фигурных скобках. Затем уже, например, токенайзером, вытащить список всех аргументов..
И здесь вроде бы всё хорошо работает.. Вот возможный код такого решения:

Код

C++ (Qt)
    boost::sregex_iterator it(buffer.begin(), buffer.end(), boost::regex("\\\\cite[\\s\\t]*\\{([^}]*)\\}"));
    boost::sregex_iterator end;
    for (; it != end; ++it) {
        std::string str(it->str(1));
        boost::tokenizer<boost::char_separator<char>> tok(str, boost::char_separator<char>(","));
        for (auto it = tok.begin(); it != tok.end(); ++it) {
            std::string arg = boost::algorithm::trim_copy(*it);
            if (std::find_if(args_list.begin(), args_list.end(), std::bind(std::equal_to<std::string>(), _1, arg)) == args_list.end())
                  args_list.push_back(arg);
        }
    }
 

(здесь команда называется \cite)

А теперь слегка усложним задачу.. Сейчас наш формат допускает наличие комментариев. Комментарий начинается с символа % и заканчивается концом строки.
Теперь, если какая то команда окажется в закоментированном блоке, то предыдущее решение по прежнему выцепит её..  Более того, коменты могут быть и внутри команды, что ещё попортит нам крови при разбиении на токены..

Так вот я и спрашиваю: как лучше поступить? Мой вариант такой: написать свой итератор, который просто "перепрыгивает через коменты".. Тогда концептуально в самом разборе ничего не измениться. Нужно только поменять string::const_iterator на пользовательский tex_string_iterator. Всё.
Вот как это может выглядеть:

Код

C++ (Qt)
    tex_string_iterator<char> ibegin(buffer.begin(), buffer.end(), boost::regex("(%[^\\n]*)"));
    tex_string_iterator<char> iend(buffer.end(), buffer.end(), boost::regex("(%[^\\n]*)"));
 
    boost::regex_iterator<tex_string_iterator<char>> it(ibegin, iend, boost::regex("\\\\cite[\\s\\t]*\\{([^}]*)\\}"));
    boost::regex_iterator<tex_string_iterator<char>> end;
    for (; it != end; ++it) {
        std::string str(it->str(1));
        boost::tokenizer<boost::char_separator<char>> tok(str, boost::char_separator<char>(","));
        for (auto it = tok.begin(); it != tok.end(); ++it) {
            std::string arg = boost::algorithm::trim_copy(*it);
            if (std::find_if(args_list.begin(), args_list.end(), std::bind(std::equal_to<std::string>(), _1, arg)) == args_list.end())
                args_list.push_back(arg);
        }
    }
 

Другой возможный вариант, который обсуждался здесь - это просто удалить из текста перед парсингом все коменты..

И наконец - это Spirit::Qi 

Вот Вы, Igors какой концепт предлагаете?   
 
     


 

[Old]

m_ax, смотрите на что наткнулся: https://bitbucket.org/sergiu/bibtex-spirit

[Old]

Вот Вы, Igors какой концепт предлагаете?

Иш ты, концепт-монцепт.
Мы тут строки сосчитать не можем, а он туда же.
И слово такое обобщенно задроченное подобрал "концепт".
А потом этими руками хлеб берешь.

[m_ax]

m_ax, смотрите на что наткнулся: https://bitbucket.org/sergiu/bibtex-spirit

Круто) Спасибо за ссылку)

[m_ax]

Вот Вы, Igors какой концепт предлагаете?

Иш ты, концепт-монцепт.
Мы тут строки сосчитать не можем, а он туда же.
И слово такое обобщенно задроченное подобрал "концепт".
А потом этими руками хлеб берешь.

Не виноватаяя.. Он сам пришёл