Так это легко проверить. Вот Вы грамотный программист (ну или считаете себя таковым ), спокойно пользуетесь бустом. И вот допустим возникла необходимость исправить то что сделал m_ax
В предыущей реализации m_ax на это забил, просто проверял парность скобок, поэтому первый токен будет (abc") что неверно. Думаю и в этой то же самое.

Сколько же Вам времени понадобится чтобы исправить? Подозреваю что "нисколько" - Вы за это просто не возьметесь - но будете продолжать говорить о "грамотности" и.т.п. Или я ошибаюсь и у Вас слова не расходятся с делом? 

В какой-то мере да, но это очень "однобоко", Вы в плену слишком абстрактных, схоластических конструкций. В реальных задачах фокус/центр тяжести часто совсем в др месте, а также неизвестно есть ли решение вообще. Ну вот напр давеча

- есть довольно популярная структура данных OcTree, найти реализацию и воспользоваться не составляет труда (возможно уже упоминал об этом здесь). Но вот беда - всего на 10K данных она сожрала 450 Mb. Может плохая реализация? Берем другую - хмм.. примерно то же самое. В чем дело? Или время поиска почему-то резко упало. У меня более 90% работы примерно такого плана, поэтому и отношусь прохладно у бусту, std - мне от них мало толку

К сожалению m_ax не выложил всех исходников, поэтому исправить его вариант пока не могу.
Но я посмотрел на эту библиотеку и вот, что я набросал за 10 минут:

C++ (Qt)
#include <iostream>
#include <boost/tokenizer.hpp>
 
using namespace boost;
 
template <class CharT>
class simple_char_separator
{
public:
        typedef std::basic_string<CharT> string_type;
        typedef typename string_type::const_iterator const_iterator;
 
        simple_char_separator() : m_open( "(" ), m_close( ")" ) {}
 
        void reset() {}
 
        bool operator()( const_iterator &next, const_iterator end, string_type &tok ) const
        {
                if( next == end )
            return false;
 
                const const_iterator start_pos = std::search( next, end, m_open.begin(), m_open.end() );
                if( start_pos == end )
                        return false;
 
                const const_iterator end_pos = std::search( start_pos, end, m_close.begin(), m_close.end() );
                tok.assign( start_pos, end_pos+1 );
 
                next = ( end_pos == end )? end : end_pos + 1;
 
        return true;
        }
 
private:
        std::string m_open;
        std::string m_close;
};
 
int main()
{
        std::string s = "(10, 20, 30) ( 10, 20, 30 ) (10, 20, 30)";
 
        std::cout << s << std::endl;
 
        tokenizer<simple_char_separator<char> > tok( s, simple_char_separator<char>() );
        for( auto v : tok )
        {
                std::cout << v << std::endl;
        }
 
   return 0;
}
 

Я так понял, что для вас Igors это недостижимый порог вхождения, а вот мнение Вереса, который писал о непонятках, интересно: скажите на сколько для вас это сложно и понимаете ли вы, что здесь делается?

Информация по этому есть в посте m_ax.
А логика получения токенов там примитивная.

Вот ее замена в моем коде:

C++ (Qt)
tokenizer<simple_char_separator<char> > tok( s, simple_char_separator<char>() );

Я уже писал выше, почему считаю эту необходимость (в приорететах) избыточной.. Возможно корни таких решений растут от кривой архитектуры.
Во-вторых для моих целей приоритеты для цитат не требуются.

В-третьих, если мне всё же такой функционал и понадобится, то я, поверьте, его реализую.) Это не сложно)


Я выкладывал)

Вот приаттачиваю простенький пример, чтоб можно было поиграться)

 

Согласен)

to Верес:
Хорошо, а теперь допустим, задача чуть усложнилась и Вам нужен другой алгоритм для разбиения строки на токены (например, что то подобное алгоритму offset_separator)..
Вы будете писать ещё один парсер для этого? 

А если нужна целая коллекция подобных алгоритмов? На каждый алгоритм свой парсер? Во что превратиться код?

А с Qt таких проблем не возникает, да)

Я так понимаю, у вас этот код боевой?
Если да, то я бы добавил установку m_output_done в false в методе reset() spec_char_separator.

Давайте, тот же пример
Мы считаем токеном все что в круглых скобках (судя по Вашим ответам Вы это прекрасно поняли). Но по жизни кавычки экранируют все что в них (строка, литерал). Поэтому здесь должен быть 1 токен (вся исходная строка)

Да, мне тоже все стало ясно за минуты. Хотя мне бы понадобилось не 10 а больше минут (разобраться куда что пристроить). Но этот код никак не делает того что просили, каычки ему пофиг.

Вы можете считать что угодно, но мы говорим о дальнейшей поддержке написанного Вами кода. Вот Вы написали, др люди этим пользуются, работает. Хирак - на этой строке (см выше) ошибка. А Вас нет - ушились гулять с собачкой 

Да, ну и не понял, в чем же величие буста (в данном случае)? Я так вижу что мы опять городим тот же самый велосипед, весь анализ баланса все равно на нас. С той лишь разницей что встроили его в бустовский функтор. Смысл? Так, попеть дифирамбы великому бусту, "приобщиться", пофорсить?