Регулярное выражение с QString

[Majestio]

Какие же новые сущности я наплодил?

struct CData

[Majestio]

Вот в этом и беда современной IT-индустрии. Поэтому и программы в своей массе все тормозят и требуют кучу ядер и памяти.

Тут другая беда, имхо. Быдлокодинг. Когда кодируют вообще без понимания применения и перспектив. Типа сдал - забыл. Повторюсь, каждому применению своя реализация. В рассматриваемом случае - если речь идет о обработке 700к-байтных текстов, моя реализация лучшая, в общем зачете. Если хотим сделать средство потоковой обработки - регэкспы нафик, возможно и С++ нафик.

[Dancing_on_water]

Участвующим в замесе. Если хотите использовать регулярки, то лучше юзайте QRegularExpression

[Old]

Тут другая беда, имхо.

Нет беда как раз в этом. И все ваши высказывания это подтверждают.

В рассматриваемом случае - если речь идет о обработке 700к-байтных текстов, моя реализация лучшая, в общем зачете.

Смешно. Чем она лучше?
Если она сливается как по скорости, так и по памяти.

Если хотим сделать средство потоковой обработки - регэкспы нафик, возможно и С++ нафик.

Вы же недавно мне расписывали достоинства регулярки для подобных задач.
И с++ нафик? А чем заменим?

[Majestio]

По скорости сливается на 3%. По количеству кодинга - меньше в 2 раза. Алаверды в квадрате)
Про регулярки я и не спорю - отличный бытовой инструмент. Но если хотите скорость в определенной выделенной задаче - решайте ее без фреймворков. Как-то так.

[Igors]

По скорости сливается на 3%. По количеству кодинга - меньше в 2 раза. Алаверды в квадрате)

Посмотрим на "отдельно взятую" ф-цию split(). По сравнению с любой др реализацией кол-во кодинга может и меньше в 5 - или даже в 10 раз Но тот split Вам так или иначе придется заменить - и до 2 раз будет ой далеко 

[Spark]

Igors Спасибо за развернутый пример. думаю воспользуюсь, когда окончательный вариант функции будет готов.

Сделал сортировку по убыванию частотности. Ну как смог, работает . Покритикуйте, предлагайте свои варианты если не затруднит:

Код

C++ (Qt)
void MainWindow::bufferButtonSave()
{
    QClipboard *clipboard = QApplication::clipboard();
    QString originalText = clipboard->text();
    QString countItemFullString;
    QString countItemString;
    QStringList itemList;
    int countItem(0);
    int countItemFull(0);
 
    originalText = originalText.toLower();
    originalText.replace(QRegExp("\\W"), " ");
    originalText.replace(QRegExp("\\d"), " ");
    originalText.replace(QRegExp("_"), " ");
    // ЗАДАЧА1: ЭТО НЕ РАБОТАЕТ
    originalText.replace(QRegExp("[а-я]"), "");
 
    textory.clear();
 
    itemList = originalText.split(QRegExp("\\s+"),QString::SkipEmptyParts);
    QMap <QString, int> frequencyMap;
    foreach (QString Item, itemList) ++frequencyMap[Item];
 
    QList<QString> frequencyList;
    QMapIterator<QString,int> Iter(frequencyMap);
    while(Iter.hasNext())
    {
        Iter.next();
        countItem = Iter.value();
        countItemString.setNum(countItem);
        if(countItem <10 )countItemString = "0000" + countItemString;
        if(countItem >9 && countItem <100 )countItemString = "000" + countItemString;
        if(countItem >99 && countItem <1000 )countItemString = "00" + countItemString;
        if(countItem >999 && countItem <10000 )countItemString = "0" + countItemString;
        countItemFull = countItemFull + countItem;
        frequencyList.append(countItemString + "_" + Iter.key() );
    }
 
    qSort(frequencyList);
 
    textory.enableAdd( true );
 
    QString wordItem, wordCount;
 
    foreach (QString itm, frequencyList)
    {
        wordItem = itm;
        wordCount = itm;
        wordItem.remove(0,6);
        wordCount.remove(5,100);
        wordCount.remove(QRegExp("^[0]"));
        wordCount.remove(QRegExp("^[0]"));
        wordCount.remove(QRegExp("^[0]"));
        wordCount.remove(QRegExp("^[0]"));
        textory.addItem( Textory::Item( 1, wordItem + "\t" + wordCount ) );
    }
 
    countItemFullString.setNum(countItemFull);
 
    ui.textoryPaneWidget->getTextoryLabel().setText( "Frequency list (" + countItemFullString + ")" );
}

Что не нравится, так это то, что в обратном алфавитном порядке. Однако, сравнив с программой образцом, там та же ситуация. Хотелось бы улучшить.
Ну и вопрос №1 остается - оставить нужный язык.

[Dancing_on_water]

To Spark а с каким объемом текста имеет делу функция и как часто?

[Spark]

Обычный объем, для тех нужд для которых предполагается - тысячи 2-3 не больше. Но вполне реальны тексты на 2-3 сотни тысяч слов. Сложно предсказать кто для чего ее захочет использовать. На самом деле предполагается довольно крутую обработку текста делать.

[Old]

Обычный объем, для тех нужд для которых предполагается - тысячи 2-3 не больше. Но вполне реальны тексты на 2-3 сотни тысяч слов. Сложно предсказать кто для чего ее захочет использовать. На самом деле предполагается довольно крутую обработку текста делать.

Для крутой обработки текста нужны алгоритмы, которые эту о работку будут делать. Сейчас нужно обдумывать базу этих алгоритмов, что может понадобиться и в каком виде. Другими словами заняться проектированием, а вы какую-то ерунду сейчас делаете, да еще и с Gui. Когда дойдет время до крутой обработки, все что вы сделаете сейчас придется выкинуть.

[Dancing_on_water]

Ну тогда у вас в корне неверный подход 2-3 тысяч слов это объем около 20-40 кБ.  Уже много. И хотя и сильно больший объем влезет в кэш, НО

Вам надо экономить на всем и не в последнюю очередь на обращение к памяти. У вас уже здесь 5 полных прохода

Код

C++ (Qt)
 originalText = originalText.toLower();
    originalText.replace(QRegExp("\\W"), " ");
    originalText.replace(QRegExp("\\d"), " ");
    originalText.replace(QRegExp("_"), " ");
    originalText.replace(QRegExp("[а-я]"), "");
 

А вот это

Код

C++ (Qt)
 
    itemList = originalText.split(QRegExp("\\s+"),QString::SkipEmptyParts);

Вообще затормозит систему так, что мама не горюй

Не говоря уже о том, что регулярные выражения для этого дела - крайне медленный и плохой инструмент.

[Spark]

Dancing_on_water
Согласен, что надо экономить. Однако я не в курсе как . Слишком мал опыта. По сути каждое новое действие это единственный приобретенный опыт и сравнивать не с чем.
Но по поводу нынешнего кода. На моей системе, стандартные задачи 2 - 3 тысячи даже не стоит и беспокоится. Моментально. Текст на 40000 небольшая задержка. Пользователь не заметит и не будет раздражен.
Сделал эксперимент и подсунул текст на 5812357 слов из буфера обмена. Наибольшая частот слова в этом тексте 82110.
Забыл отметить конец теста. Ну где то 10-15 минут. Но это исключительный текст, ради эксперимента.

[Spark]

И все так по существу вопроса. Фактически надо решить последнюю задачу.
Как сделать, что бы отрабатывался такой регесп:

Код

C++ (Qt)
    originalText.replace(QRegExp("[а-я]"), "");

С английским, естественно, нет проблем и это работает:

Код

C++ (Qt)
    originalText.replace(QRegExp("[a-z]"), "");

[Spark]

Dancing_on_water
Согласен, что надо экономить. Однако я не в курсе как . Слишком мал опыта. По сути каждое новое действие это единственный приобретенный опыт и сравнивать не с чем.
Но по поводу нынешнего кода. На моей системе, стандартные задачи 2 - 3 тысячи даже не стоит и беспокоится. Моментально. Текст на 40000 небольшая задержка. Пользователь не заметит и не будет раздражен.
Сделал эксперимент и подсунул текст на 5812357 слов из буфера обмена. Наибольшая частот слова в этом тексте 82110.
Забыл отметить конец теста. Ну где то 10-15 минут. Но это исключительный текст, ради эксперимента.

P.S. Я подумаю, чем заменить регулярки.

[m_ax]

P.S. Я подумаю, чем заменить регулярки.

Вам сейчас не об этом надо думать, а вот о чём:

Для крутой обработки текста нужны алгоритмы, которые эту о работку будут делать. Сейчас нужно обдумывать базу этих алгоритмов, что может понадобиться и в каком виде. Другими словами заняться проектированием, а вы какую-то ерунду сейчас делаете, да еще и с Gui. Когда дойдет время до крутой обработки, все что вы сделаете сейчас придется выкинуть.