Распарсить HTML

[Авварон]

Добрый день. Давненько я не занимался работой с http/html и как под задача возник такой вопрос. Есть хтмл, приходит по сети. В этой хтмл есть таблица. Нужно выцепить данные из строк этой таблицы. У таблицы нет ид. Варианты:
0. Парсить руками
1. Попробовать парсить как xml (хтмл простая, может и прокатит)
2. Загрузить в QTextDocument и найти нужные элементы через АПИ
3. Загрузить в QWebFrame
4. Загрузить в QWebEngineFrame
5. ??
Какой вариант выбрать?

[gil9red]

Эмм, хтмл или все-таки html?
Парсить html парсерами xml не стоит -- html может быть невалидным и браузер это проглотил, а парсеры xml придирчивые, да и отличаются html и xml немного

Поэтому, как вариант через QWebFrame (или его аналог в Qt5 -- QWebEngineFrame) загрузить и через методы findAllElements и findFirstElement, используя css-селекторы получить таблицу и ее строчки (например css-селектор: "table tr")

[Авварон]

Ок, я к чему-то такому склонялся. А что выбрать, WebKit или webengine?

[Авварон]

Попробовал через QTextDocument, таблицу распарсить можно (через  document->findChildren<QTextTable *>()).
Теперь другой вопрос, мне нужно распарсить более сложный html с кучей фреймов. Вот у QWebPage я вижу rootFrame() и иже с ними.
А где он у QWebEnginePage?

[gil9red]

Ок, я к чему-то такому склонялся. А что выбрать, WebKit или webengine?

Первый только на Qt4, другой только на Qt5

frame поидеи подгружаются с других сайтов, а после включаются в структуру страницы, поэтому: дождаться загрузки и вытащить через css-селектор
так бы я попробовал сделать другим инструментом (я парсингом занимался в 99% случаев через питон)

[qate]

открыть её в ff
сделать скриншот
далее opencv, там несложно выделить регионы и получить текст

[Alex Custov]

webengine не подходит, потому что там нет доступа к элементам.

https://wiki.qt.io/Porting_from_QtWebKit_to_QtWebEngine

QWebElement

Qt WebEngine uses a a multi-process architecture and this means that any access to the internal structure of the page has to be done asynchronously, any query result must be returned through callbacks. The QWebElement API was designed for synchronous access and this would require a complete redesign.

А если парсить что-то сложное - то webkit подходит. У него есть community releases. См.

https://download.qt.io/community_releases/5.9/5.9.0-final/
https://github.com/annulen/webkit/releases

[Racheengel]

открыть её в ff
сделать скриншот
далее opencv, там несложно выделить регионы и получить текст

Ну еще можно нейросеть обучить, а дальшо оно само...

[Авварон]

Поставил версию 5.5, юзаю вебкит оттуда. Пока всё работает.
Потом, возможно, заюзаю community release для 5.9. За ссылку кстати спасибо, нагуглить я не осилил.