Russian Qt Forum

Не так давно я написал архиватор ZIP на PHP (нужда возникла чисто из за ограничений бесплатного хостинга - по памяти, выделяемой процессу, и по макс. размеру файла на хостинге). Сама реализация получилась так, что и самому понравилась - сделал ее так сказать адаптивной.

Алгоритм следующий:

1) (опционально) Если файл имеет расширение слабо пакуемых или непакуемых файлов, типа -
'7z','a00','a01','a02','ace','ain','alz','apz','ar','arc','arh','ari','arj','ark','axx','b64','ba','bh','bhx','boo','bz','bz2','bza','bzip','bzip2','c00','c01','c02',
'cab','car','cb7','cbr','cbz','cp9','cpt','dd','deb','dgc','dist','djvu','dl_','dz','ecs','efw','epi','ex_','f','fdp','gca','gif','gz','gza','gzi','gzip','ha','hbc','hbc2',
'hbe','hki','hki1','hki2','hki3','hpk','hyp','ice','ipg','ipk','ish','ita','j','jar.pac','jgz','jic','jpeg','jpg','kgb','lbr','lemon','lha','lnx','lqr','lz','lzh','lzma','lzo',
'lzx','md','mou','mzp','oar','oz','p7m','pack.gz','package','pae','pak','paq6','paq7','paq8','par','par2','pbi','pcv','pea','pet','pf','pim','pit','piz','pkg','png','pup',
'pup','puz','qda','r0','r00','r01','r02','r03','r1','r2','r21','r30','rar','rev','rk','rnc','rp9','rpm','rte','rzs','s00','s01','s02','sar','sdn','sea','sen','sfs','sfx',
'sh','shar','shr','sit','sitx','spt','sqx','sqz','tar','tar.gz','tar.xz','taz','tbz','tbz2','tg','tgz','tlz','tlzma','tsk','txz','tz','uc2','uha','vem','vsi','wad','war',
'wot','xef','xez','xmcdz','xpi','xx','xz','y','z','z01','z02','z03','z04','z05','z06','z07','z08','z09','zap','zi','zip','zipx','zix','zl','zoo','zpi','zz'
выбирается метод STORE
2) Иначе файл сперва жмется методом DEFLATE, потом BZIP2
3) В результирующий архив попадают сжатые данные у которых размер получается меньше
4) Алгоритму можно задавать предельные размеры использования памяти и размеры томов результирующего архива

Хочу это переписать под Qt.

Плюс этого всего - архивы получаются ощутимо меньше, нежели я использую обычный пакер, т.к. там есть возможность только жестко выбирать метод сжатия. Но есть одно "но" ...

Мои ZIP-ы нормально читает только 7z. WinRAR, открывая архивы со смешанными методами сжатия файлов - на файлы сжатые по BZIP2 кричит "неизвестный метод сжатия". Почитав стандарт, я вроде не нашел запрета на BZIP2 в явном виде.

Вот и не решаюсь тратить время - если это все же в пределах стандарта, тогда смысл есть.
А если всеж нарушение и это новодел - думаю забросить это.

Какие мысли есть по этому поводу?
Интересно все.

Сравнение приведите с zip'ом с максимальным сжатием.

Сейчас не приведу - когда писал для бэкапа сайта, мой пакер выигрывал у 7z (в режиме ZIP), с максимальным сжатием - примерно 2-7%, но и 2-5% проигрывал ему же в режиме 7z (метод PPMD). В точных цифрах могу ошибаться - ориентировочно пишу, запомнились разбежки в районе 5% в среднем. Данные были - картинки, текст (html, php), архивы, исполняемые файлы, звуковые в формате ogg. Зависимость такая - чем больше непакуемых или слабопакуемых данных, тем больше 7z-ZIP пухнет.

Вот еще думаю, можно попробовать запилить DEFLATE64, еще процент-другой "отвоевать" ...

А стоит овчинка выделки? К примеру гиг плохо пакуемых данных зазиповать и эмм.. задомохозяйничать. Результаты по времени и размерам сравнить бы.

PS ради 2-3% даже шевелиться не особо хочется :D

Лан, оставлю пока в виде TODO. Пока стоял вопрос только распаковки - штатные средства тянут. Ну а там посмотрим. Пока Qt-шными средствами гигабайты не жал, на счет расхода памяти ниче не скажу.

Majestio , может тебе будет интересно глянуть на FreeArc (http://freearc.org/ru/Default.aspx).
Он тоже анализирует содержимое и применяет разные алгоритмы компрессии для разных данных.

Идея хорошая! Но чего-то исходников не вижу. А вообще суть моего поста - создание не очередного пакера, а библиотеки под Qt, чтобы не заморачиваться с архивами. По поводу реализации, в принципе так и думал, вполне можно реализовать методы сжатия, как плагины, ну и пару процедур по разборке контейнеров, а-ля ZIP, 7z.

Ты их не видишь, но они есть :)
http://freearc.org/ru/Download.aspx

Сенкс - был невнимателен! Супер, это еще более может облегчить дело! :)