проблемы с кодировкой: wchar_t в QString

[pichini]

Всем привет!
Помогите разобраться. Делаю разбор html с кодировкой Windows-1251. Класс разбора писал не я, скачал отсюда (http://www.codeproject.com/Articles/14076/Fast-and-Compact-HTML-XML-Scanner-Tokenizer)
данные возвращаются в виде const wchar_t *. Перегоняю  в QString с помощью QString::fromWCharArray(). Русский текст не отображается, понимаю что надо перекодировать, но вот камим образом и в каком момент не могу разобраться. Все мои попытки использовать QTextCodec не приводят к нужному результату, наверное просто от нехватки знаний.

[popper]

Без исходников многое непонятно, но попробуй так:

Код:

QString scannerResult(const wchar_t *str)
{
  QTextCodec *codec = QTextCodec::codecForName("Windows-1251");
  size_t size = wcslen(str);
  return codec->toUnicode((const char*)str, size*2);
}

[pichini]

Не работает. Русские буквы конечно появились, но не то, что надо.
Попробую привести код:

методы для получения данных (проблема с методом get_value(), когда русские буквы):

Код

C++ (Qt)
...
typedef wchar_t wchar;
...
    const wchar*    get_value();
 
    // get attribute name
    const char*     get_attr_name();
 
    // get tag name
    const char*     get_tag_name();
 
 

Код получения данных:

Код

C++ (Qt)
struct str_istream: public markup::instream
{
  const char* p;
  const char* end;
 
  str_istream(const char* src): p(src), end(src + strlen(src)) {}
  virtual wchar_t get_char() { return p < end? *p++: 0; }
};
 
....
 
           QByteArray htmlData = htmlFile.readAll();
 
            str_istream si(htmlData);
            markup::scanner sc(si);
 
            bool useEOF = false;
            while(true)
            {
              int t = sc.get_token();
              switch(t)
              {
                case markup::scanner::TT_ERROR:
                  qDebug() << "ERROR";
                  break;
                case markup::scanner::TT_EOF:
                    useEOF = true;
                  qDebug() <<  "EOF";
                  break;
                case markup::scanner::TT_TAG_START:
                  qDebug() <<  "TAG START:" << sc.get_tag_name();
                  break;
                case markup::scanner::TT_TAG_END:
                  qDebug() <<  "TAG END:" << sc.get_tag_name();
                  break;
                case markup::scanner::TT_ATTR:
                  qDebug() <<  QString("\tATTR:%1 = %2").arg(sc.get_attr_name()).arg(QString::fromWCharArray(sc.get_value()));
                  break;
                case markup::scanner::TT_WORD:
                case markup::scanner::TT_SPACE:
                    QString str1 = QString::fromWCharArray(sc.get_value());
                    qDebug() << "value:" << str1;
                  break;
              }
              if (useEOF)
                  break;
            }
 

Может данные надо перекодировать во что-то до передачи их классу обработки? Можно и сам код класса подправить при необходимости, вопрос что и где?

[pichini]

Забыл уточнить, qDebug() << "русские буквы" выводит корректно

на main добавил:

    QTextCodec   *codec1 = QTextCodec::codecForName("CP-1251");
    QTextCodec::setCodecForTr(codec1);
    QTextCodec::setCodecForLocale(codec1);
    QTextCodec::setCodecForCStrings(codec1);

[popper]

А фрагмент html файла можешь показать?

[pichini]

Конечно, даже весь не жалко.

[popper]

В html вроде все верно. Кидай минимальный компилируемый проект

[pichini]

Работаю под Win7 в QTCreator
QT 4.7.4

Убрал все свои игрища с QTextCodec.

[kambala]

креатор в дебаггере символ "А" показывает как "\177700", а в студии строка "«А+» —" отображается в дебаггере как

Код:

value
0x003bc060 "ﾫ￀+ﾻﾠﾗ"
    [0]: 65451 L'ﾫ'
    [1]: 65472 L'￀'
    [2]: 43 L'+'
    [3]: 65467 L'ﾻ'
    [4]: 65440 L'ﾠ'
    [5]: 65431 L'ﾗ'
    [6]: 0

хотя студия показывает корректный текст в htmlData.

включение/отключение кодировок не помогает. по-моему что-то тут нечисто с парсером.

[V1KT0P]

креатор в дебаггере символ "А" показывает как "\177700", а в студии строка "«А+» —" отображается в дебаггере как

Код:

value
0x003bc060 "ﾫ￀+ﾻﾠﾗ"
    [0]: 65451 L'ﾫ'
    [1]: 65472 L'￀'
    [2]: 43 L'+'
    [3]: 65467 L'ﾻ'
    [4]: 65440 L'ﾠ'
    [5]: 65431 L'ﾗ'
    [6]: 0

хотя студия показывает корректный текст в htmlData.

включение/отключение кодировок не помогает. по-моему что-то тут нечисто с парсером.

Да он там что-то с wchar намудрил. Я заменил все на wchar-ы на char и все заработало, русские символы нормально отображаются. Он тупо не задумываясь из одного char делает один wchar надеясь непонятно на что надеясь. На что он вообще рассчитывал и что бы он делал попадись ему текст в UTF8?

[pichini]

Да он там что-то с wchar намудрил. Я заменил все на wchar-ы на char и все заработало, русские символы нормально отображаются. Он тупо не задумываясь из одного char делает один wchar надеясь непонятно на что надеясь. На что он вообще рассчитывал и что бы он делал попадись ему текст в UTF8?

Это вы про автора парсера или про меня ?

[V1KT0P]

Да он там что-то с wchar намудрил. Я заменил все на wchar-ы на char и все заработало, русские символы нормально отображаются. Он тупо не задумываясь из одного char делает один wchar надеясь непонятно на что надеясь. На что он вообще рассчитывал и что бы он делал попадись ему текст в UTF8?

Это вы про автора парсера или про меня ?

Тому кто сие безобразие написал =).

[pichini]

Если безобразие в моем коде (dialog.cpp), то подскажите что не так, я новичек, мне, так сказать, простительно. Если же безобразие в парсере (xh_scanner.cpp), то нужен совет, стоит ли его использовать (дописав и исправив что-то) или отказаться от него.
Работа планируется только под виндой, но html, теоретически, может быть любая.

[pichini]

Вот тут кстати оговорочка от автора, которая, возможно, многое объясняет:

In Closing

The given scanner does not address any input stream encoding problems. XML and HTML are dealt with differently with this. A general idea for the cases where you don't know the input encoding up front: your input stream should be smart enough to be able to switch the encoding of the input on the fly. The given scanner was initially created as part of the HTMLayout SDK: a lightweight embeddable HTML rendering component.

[V1KT0P]

Если безобразие в моем коде (dialog.cpp), то подскажите что не так, я новичек, мне, так сказать, простительно. Если же безобразие в парсере (xh_scanner.cpp), то нужен совет, стоит ли его использовать (дописав и исправив что-то) или отказаться от него.
Работа планируется только под виндой, но html, теоретически, может быть любая.

Замени wchar-ы на обычнве char-ы ибо все-равно этот сканер не преобразовывает UTF8 в юникод, а значит ничего хорошего от этого не будет.