Регулярное выражение с QString

[Spark]

"... а ещё я крестиком вышивать умею.."

И вновь возвёл очи к небу..

Я механик и действительно много чего умею. Ну например реставрировать машину и покрасить.
Сами напросились.

Та неужели? 

Не медленнее чем у участников соревнования, в рамках QT.
В любом случае самое тонкое место:

Код

C++ (Qt)
itemList = originalText.split(QRegExp("[^a-z]"),QString::SkipEmptyParts);

И это присутствует у всех. Поэтому соревнования как таковые в общем то бессмысленны, опять же в рамках QT.
Если приспичит то надо пробовать иные способы разделения текста. Но в общем то это уже больше ради спортивного интереса. Если кому и придет  в голову обрабатывать такие объемы, то подождет 15 секунд.
Другое дело - у меня тормозит вывод на экран. Но это придется разбираться с чужой функцией, что не так и можно ли улучшить.

[Igors]

Я механик и действительно много чего умею. Ну например реставрировать машину и покрасить.

Ну вот и делайте то что умеете. Я напр очень люблю слушать музыку, но не обладаю слухом и чувством ритма. Ну я же не пытаюсь доказать другим что я "тоже музыкант" 

[Majestio]

Погоняйте, погоняйте)

Получите и распишитесь! 

[m_ax]

Мне показалось, или вы сравниваете результаты с debug версией?
Надо в релизе тесты гонять 

[Majestio]

Мне показалось, или вы сравниваете результаты с debug версией?
Надо в релизе тесты гонять 

Да не, все равно какая-то мистика ... см. под маком:



Хотя компиляторы разные, под Mac OS X - Clang, но все равно...

[m_ax]

Нет там никакой мистики..
А под виндой в релизе какие результаты?

[Majestio]

Нет там никакой мистики..
А под виндой в релизе какие результаты?

Щя повторю тест под вынью...Под релизом.

[Majestio]

Вот под вынью под релизом:



Первые два запуска с опцией С++11, в третьем на всяк случай выключил.
Да быстрее - но под маком все равно в 2.5 раза быстрее.
Перл везде показывает стабильные цифры, на скринах видно.

[Majestio]

Линух ваще удивил:



Хотя Perl - как всегда быстро и стабильно 

Лан, забиваю с экспериментами ... что хотел сказать про регулярки и их "естественное" использование - я сказал. 

[Old]

Хотя Perl - как всегда быстро и стабильно  

Перл быстр, потому что работает с UTF8, в отличие от нас.
Хотя посмотрел тестовый файл - там все на кириллице, коды их в unicode помещаются в short, то на то и выходит.

[Majestio]

Перл быстр, потому что работает с UTF8, в отличие от нас.

Ну я попробовал прописывать "кодеки", типа:

Код

C++ (Qt)
QTextCodec *codec = QTextCodec::codecForName("UTF-8");
QTextCodec::setCodecForLocale(codec);
 

Легче не стало ... (под вынь)

Old:    9578 15211
Majestio:    12047 15211


Вдогоночку ....

Изменил кодировку под win-1251 ...

Old:    8985 247
Majestio:    11593 247
Perl: 3312 15211

Ну вот кагбэ так  

[Old]

Ну я попробовал прописывать "кодеки"

Дело не в этом, QString всегда хранит строку в unicode, а это минимум 16 бит на символ, а так и все 32 бита. А в utf8 латинские символы занимают 8 бит, а кириллица 16 бит.
Т.е. если бы в тексте было много латиницы, то перлу пришлось бы меньше молотить.

[Majestio]

Ну я попробовал прописывать "кодеки"

Дело не в этом, QString всегда хранит строку в unicode, а это минимум 16 бит на символ, а так и все 32 бита. А в utf8 латинские символы занимают 8 бит, а кириллица 16 бит.
Т.е. если бы в тексте было много латиницы, то перлу пришлось бы меньше молотить.

См. мой тест с 8-битной кодировкой выше.

[Old]

См. мой тест с 8-битной кодировкой выше.

Это никак не меняет кодировку внутри QString, там по прежнему unicode.

[Majestio]

См. мой тест с 8-битной кодировкой выше.

Это никак не меняет кодировку внутри QString, там по прежнему unicode.

Меняет способ. И, по идее, ускоряет (что и видно по последнему тесту).
Из доки:

QString хранит строку 16-битных QChar, где каждый QChar хранит символ Unicode 4.0.

UTF-8 "неудобно" обрабатывается, т.к. - это кодировка с переменной длиной символа. Предоставляя текст в win-1251, даем возможность компилятору и фреймворку тупо проецировать любой индекс строки - как двойное смещение отностиельно однобайтного способа кодирования.

А вот почему перл выигрывает - это как раз по другой причине ))) Внимательно сравните два кода Ц++ и Perl, и примите во внимание что регэкспы для Перла - это стандарт языка, а не внешняя либа. И наверняка станет понятно   Готов подсказать