[SOLVED] SQLITE регистронезависимый LIKE

[Termit]

День добрый!

Господа подскажите следующий вопрос.

Есть:
Linux (Kubuntu. Кодировка UTF-8)
QT 4.6
База SQLITE
Приложение работающее с этой базой

Нужно:
Заставить базу работать с регистронезависимым LIKE для русских букв.

Всю голову сломал и почти весь гугле перелопатил, никак не найду ответа.

Читал за ICU, скомпилил библиотеку через command line интерфейс с этой базой через ".load 'libSqliteIcu.so';" и "SELECT icu_load_collation('ru_RU', 'RUSSIAN')" все работает как нужно.
Если это же пишу в приложении ничего не получаеться

Код:

QSqlQuery query(db);
qDebug() << "load extension res = " << query.exec(".load 'libSqliteIcu.so'; ");
qDebug() << "error = " << query.lastError().text();
qDebug() << "load collation res = " << query.exec("SELECT icu_load_collation('ru_RU', 'RUSSIAN')");
qDebug() << "error = " << query.lastError().text();

load extension res =  false
error =  "near ".": syntax error Unable to execute statement"
load collation res =  false
error =  "no such function: icu_load_collation Unable to execute statement"

Проскакивала информация что можно как-то через "QVariant QSqlDriver::handle () const   [virtual]"
В Assistant-е написано

Код:

QSqlDatabase db = ...;
 QVariant v = db.driver()->handle();
 if (v.isValid() && qstrcmp(v.typeName(), "sqlite3*")==0) {
     // v.data() returns a pointer to the handle
     sqlite3 *handle = *static_cast<sqlite3 **>(v.data());
     if (handle != 0) { // check that it is not NULL
         ...
     }
 }

В доке по SQLITE

Instead of providing full Unicode case support by default, SQLite provides the ability to link against external Unicode comparison and conversion routines. The application can overload the built-in NOCASE collating sequence (using sqlite3_create_collation()) and the built-in like(), upper(), and lower() functions (using sqlite3_create_function()). The SQLite source code includes an "ICU" extension that does these overloads. Or, developers can write their own overloads based on their own Unicode-aware comparison routines already contained within their project.

Но, что-то не могу осилить... :-(

Собственно сам вопрос. Как заставить SQLITE понимать регистронезависимый поиск в базе по русским словам?

[Termit]

Собственно в FAQ, который был процитирован, четко сказано, что данная ф-ция работает только для ASCII. Для прочих кодировок нужно писать свои функции like(), upper(), lower() и пр. Или как вариант собрать SQLITE с ICU.

Та не вопрос, напишу свои функции для чего угодно :-) Это ясно...
Вопрос как прикрутить эти самые функции?

По примеру и Assistant получу я handler sqlite. И чего с ним делать? Как добавить туда эти самые функции?

[DmP]

Собственно в FAQ, который был процитирован, четко сказано, что данная ф-ция работает только для ASCII. Для прочих кодировок нужно писать свои функции like(), upper(), lower() и пр. Или как вариант собрать SQLITE с ICU.

Та не вопрос, напишу свои функции для чего угодно :-) Это ясно...
Вопрос как прикрутить эти самые функции?

По примеру и Assistant получу я handler sqlite. И чего с ним делать? Как добавить туда эти самые функции?

В документации все есть:
http://www.sqlite.org/c3ref/create_collation.html
http://www.sqlite.org/c3ref/create_function.html

Вот не заметил, что уже собрано с ICU. ".load" - это команда шела, а не SQL.
Если посмотреть в исходники шела, то увидим обработку этой команды:

Код:

if( c=='l' && strncmp(azArg[0], "load", n)==0 && nArg>=2 ){
    const char *zFile, *zProc;
    char *zErrMsg = 0;
    zFile = azArg[1];
    zProc = nArg>=3 ? azArg[2] : 0;
    open_db(p);
    rc = sqlite3_load_extension(p->db, zFile, zProc, &zErrMsg);
    if( rc!=SQLITE_OK ){
      fprintf(stderr, "Error: %s\n", zErrMsg);
      sqlite3_free(zErrMsg);
      rc = 1;
    }
  }

Попробуйте сделать так же.

[DmP]

Вот только вопрос как вызвать эту sqlite3_load_extension.
Как вариант можно пропатчит QSQLiteDriver, например, добавив в него функцию loadExtension() вызывающую sqlite3_load_extension(). Пересобрать плагин.
Потом все просто:

QSQLiteDriver* driver = qobject_cast<QSQLiteDriver*>(mydb.driver());
driver->loadExtension("libSqliteIcu.so");

[Termit]

Решение найдено.

Итого:

1. Необходимо установить пакеты
 

Код:

- libsqlite3-dev
- sqlite3-0-dbg (необязательно)

2. Скачиваем icu.c
 

Код:

wget www.sqlite.org/cvstrac/getfile?f=sqlite/ext/icu/icu.c -O icu.c

3. Собираем

Код:

gcc -shared icu.c `icu-config --ldflags` -o libSqliteIcu.so

для AMD 64

Код:

gcc -shared icu.c `icu-config --ldflags` -fPIC -o libSqliteIcu.so

копируем полученную библиотеку (libSqliteIcu.so) в нужное нам место (я скопировал в /usr/lib)

4. В pro файл проекта добавляем

Код:

...
LIBS += -lsqlite3
...

5. В проект добавляем

Код:

...
#include <sqlite3ext.h>
...
/*
После того как базу данных открыли пишем
*/
QVariant v = db.driver()->handle();
if (v.isValid() && qstrcmp(v.typeName(), "sqlite3*")==0) {
  sqlite3 *handle = *static_cast<sqlite3 **>(v.data());
  if (handle != 0) { // check that it is not NULL
    int res = sqlite3_enable_load_extension(handle,1);
    if (res == SQLITE_OK)
    {
      res = sqlite3_load_extension(handle,"libSqliteIcu.so",0,0);
      if (res == SQLITE_OK)
        qDebug() << "Sqlite3 load ICU extension sucessfully";
      else
        qDebug() <<  "Sqlite3 load ICU extension fail";
    }
  else
    qDebug() << "Sqlite3 enable load extension fail";
    }
}
...

Получаем подключение к sqlite у которого LIKE работает регистронезависимо для русского текста в кодировке UTF-8

P.S.
Функции upper, lower, работу с regexp-ами не проверял (сейчас не до того), но думаю, будет работать...

[nata267]

я под виндоус программирую подключила sqlite3.dll, но у меня программа вылетает на строчке
int res = sqlite3_enable_load_extension(handle,1);

[DmP]

я под виндоус программирую подключила sqlite3.dll, но у меня программа вылетает на строчке
int res = sqlite3_enable_load_extension(handle,1);

Под виндой, плагин для sqlite по умолчанию собирается вместе с самой sqlite, поэтому нужно убедится в том, что Qt собрана с опцией -system-sqlite, иначе будет кощунство.

[nata267]

я под виндоус программирую подключила sqlite3.dll, но у меня программа вылетает на строчке
int res = sqlite3_enable_load_extension(handle,1);

Под виндой, плагин для sqlite по умолчанию собирается вместе с самой sqlite, поэтому нужно убедится в том, что Qt собрана с опцией -system-sqlite, иначе будет кощунство.

да, это понятно что собирается с sqlite, но регистронезаисимый like для русских букв все равно не работает, говорян нужно подключать какое-то icu расширение

[Termit]

да, это понятно что собирается с sqlite, но регистронезаисимый like для русских букв все равно не работает, говорян нужно подключать какое-то icu расширение

ICU = International Components for Unicode

http://icu-project.org/download/4.0.html

[Termit]

Что касается самого подключения...

Как минимум libSqliteIcu.so в Windows должна выглядеть как libSqliteIcu.dll

Типа такого 

Код:

res = sqlite3_load_extension(handle,"libSqliteIcu.dll",0,0);

Возможно даже не просто название dll, а вместе с путем, относительным или абсолютным

А ее нужно либо найти, либо собрать самой... И имя у этой библиотеки может быть любое

[nata267]

  не могу ни собрать ни найти эту библиотеку, скачала исходники, но там какая то хрень, скачала бинарники, то же самое

[nata267]

не подскажете какие файлы нужны для компиляции этого расширения кроме icu.c

[Termit]

не подскажете какие файлы нужны для компиляции этого расширения кроме icu.c

Чем будете собирать?

[nata267]

я пытаюсь mingw, но я пытаюсь проект сделать в qt creator - вот pro файл:

Код:

TARGET	 = libSqliteIcu
TEMPLATE = lib
CONFIG += shared release

INCLUDEPATH += . \
    include \
    src

DEPENDPATH += include \
    src

LIBS += -L./lib -licuin38 \
    -L./lib -licuuc38 \
    -L./lib -licudt38 \
    -L./lib -licule38 \
    -L./lib -liculx38 \
    -L./lib -licutest \
    -L./lib -licutu38

HEADERS		= sqliteicu.h \
        sqlite3.h \
        sqlite3ext.h \
        unicode/utypes.h \
        unicode/uregex.h \
        unicode/ustring.h \
        unicode/ucol.h

SOURCES		= icu.c \
        sqlite3.c \
        shell.c

у меня ошибки вылазят при компиляции:

Creating library file: release\liblibSqliteIcu.a
release/icu.o(.text+0x5c):icu.c: undefined reference to `_imp__utf8_countTrailBytes_44'
release/icu.o(.text+0x8d):icu.c: undefined reference to `_imp__utf8_countTrailBytes_44'
release/icu.o(.text+0x115):icu.c: undefined reference to `_imp__utf8_countTrailBytes_44'
release/icu.o(.text+0x18a):icu.c: undefined reference to `u_foldCase_44'
release/icu.o(.text+0x19a):icu.c: undefined reference to `u_foldCase_44'
release/icu.o(.text+0x263):icu.c: undefined reference to `_imp__utf8_countTrailBytes_44'
release/icu.o(.text+0x29e):icu.c: undefined reference to `_imp__utf8_countTrailBytes_44'
release/icu.o(.text+0x4f2):icu.c: undefined reference to `utf8_nextCharSafeBody_44'
release/icu.o(.text+0x52a):icu.c: undefined reference to `u_errorName_44'
release/icu.o(.text+0x605):icu.c: undefined reference to `uregex_setText_44'
release/icu.o(.text+0x641):icu.c: undefined reference to `uregex_matches_44'
release/icu.o(.text+0x690):icu.c: undefined reference to `uregex_open_44'
release/icu.o(.text+0x6c5):icu.c: undefined reference to `uregex_setText_44'
release/icu.o(.text+0x7ef):icu.c: undefined reference to `u_strToUpper_44'
release/icu.o(.text+0x84d):icu.c: undefined reference to `u_strToLower_44'
release/icu.o(.text+0x90b):icu.c: undefined reference to `ucol_strcoll_44'
release/icu.o(.text+0x9db):icu.c: undefined reference to `ucol_open_44'
release/icu.o(.text+0xa51):icu.c: undefined reference to `ucol_close_44'
release/icu.o(.text+0x595):icu.c: undefined reference to `uregex_close_44'
release/icu.o(.text+0x8c5):icu.c: undefined reference to `ucol_close_44'

[nata267]

я вообщето dll ки никогда не собирала, что называется изучаю с нуля