MD5

[Giz0]

Есть ли какая либо реализация MD5 в Qt

[Larrikin]

Поднимаю тему наверх, потому как самому интересно.
Нужно считать контрольные суммы файлов, crc16 недостаточно.

[QCasper]

Исходники MD5 открыты, можно не полениться, и найти их, если сильно надо

[AlexKiriukha]

Код:

#ifndef MD5_H
#define MD5_H

#include <QtGlobal>

#ifndef PROTOTYPES
#define PROTOTYPES 0
#endif

/* POINTER defines a generic pointer type */
typedef unsigned char *POINTER;

/* PROTO_LIST is defined depending on how PROTOTYPES is defined above.
If using PROTOTYPES, then PROTO_LIST returns the list, otherwise it
  returns an empty list.
*/
#if PROTOTYPES
#define PROTO_LIST(list) list
#else
#define PROTO_LIST(list) ()
#endif

class QString;

class MD5
{
public:
	MD5();
	~MD5();
	MD5 & update(const QString &);
	MD5 & update(uchar *input, uint len);
	const QString final(void);
private:
	bool isFinalized;
	uchar digest[16];
	struct MD5_CTX{
		quint32 state[4];                                   /* state (ABCD) */
		quint32 count[2];        /* number of bits, modulo 2^64 (lsb first) */
		unsigned char buffer[64];                         /* input buffer */
	} context;
	void transform(quint32 state[4], uchar block[64]);
	void encode(uchar *output, quint32 *input, uint len);
	void decode(quint32 *output, uchar *input, uint len);
	void memcpy(POINTER output, POINTER input, uint len);
	void memset(POINTER output, int value, uint len);

};

#endif // MD5_H

и

Код:

#include "Md5.h"

#include <QString>

#define S11 7
#define S12 12
#define S13 17
#define S14 22
#define S21 5
#define S22 9
#define S23 14
#define S24 20
#define S31 4
#define S32 11
#define S33 16
#define S34 23
#define S41 6
#define S42 10
#define S43 15
#define S44 21

/* F, G, H and I are basic MD5 functions. */
#define F(x, y, z) (((x) & (y)) | ((~x) & (z)))
#define G(x, y, z) (((x) & (z)) | ((y) & (~z)))
#define H(x, y, z) ((x) ^ (y) ^ (z))
#define I(x, y, z) ((y) ^ ((x) | (~z)))

/* ROTATE_LEFT rotates x left n bits. */
#define ROTATE_LEFT(x, n) (((x) << (n)) | ((x) >> (32-(n))))

/* FF, GG, HH, and II transformations for rounds 1, 2, 3, and 4.
Rotation is separate from addition to prevent recomputation. */
#define FF(a, b, c, d, x, s, ac) { \
 (a) += F ((b), (c), (d)) + (x) + (quint32)(ac); \
 (a) = ROTATE_LEFT ((a), (s)); \
 (a) += (b); \
  }
#define GG(a, b, c, d, x, s, ac) { \
 (a) += G ((b), (c), (d)) + (x) + (quint32)(ac); \
 (a) = ROTATE_LEFT ((a), (s)); \
 (a) += (b); \
  }
#define HH(a, b, c, d, x, s, ac) { \
 (a) += H ((b), (c), (d)) + (x) + (quint32)(ac); \
 (a) = ROTATE_LEFT ((a), (s)); \
 (a) += (b); \
  }
#define II(a, b, c, d, x, s, ac) { \
 (a) += I ((b), (c), (d)) + (x) + (quint32)(ac); \
 (a) = ROTATE_LEFT ((a), (s)); \
 (a) += (b); \
  }

MD5::MD5() : isFinalized(false)
{
	context.count[0] = context.count[1] = 0;
	context.state[0] = 0x67452301;
	context.state[1] = 0xefcdab89;
	context.state[2] = 0x98badcfe;
	context.state[3] = 0x10325476;
}

MD5::~MD5()
{
}

MD5 & MD5::update(const QString & str)
{
	uchar *input = (uchar*)str.toAscii().data();
	uint inputLen = str.size();

	uint i, index, partLen;

	/* Compute number of bytes mod 64 */
	index = (unsigned int)((context.count[0] >> 3) & 0x3F);

	/* Update number of bits */
	if((context.count[0] += ((quint32)inputLen << 3)) < ((quint32)inputLen << 3))
		context.count[1]++;
	context.count[1] += ((quint32)inputLen >> 29);

	partLen = 64 - index;

	/* Transform as many times as possible.*/
	if(inputLen >= partLen){
		memcpy((POINTER)&context.buffer[index], (POINTER)input, partLen);
		transform(context.state, context.buffer);

		for(i = partLen; i + 63 < inputLen; i += 64)
			transform(context.state, &input[i]);

		index = 0;
	}else
		i = 0;
	memcpy((POINTER)&context.buffer[index], (POINTER)&input[i], inputLen-i);
	return(*this);
}

MD5 & MD5::update(uchar *input, uint inputLen)
{
	uint i, index, partLen;

	/* Compute number of bytes mod 64 */
	index = (unsigned int)((context.count[0] >> 3) & 0x3F);

	/* Update number of bits */
	if((context.count[0] += ((quint32)inputLen << 3)) < ((quint32)inputLen << 3))
		context.count[1]++;
	context.count[1] += ((quint32)inputLen >> 29);

	partLen = 64 - index;

	/* Transform as many times as possible.*/
	if(inputLen >= partLen){
		memcpy((POINTER)&context.buffer[index], (POINTER)input, partLen);
		transform(context.state, context.buffer);

		for(i = partLen; i + 63 < inputLen; i += 64)
			transform(context.state, &input[i]);

		index = 0;
	}else
		i = 0;
	memcpy((POINTER)&context.buffer[index], (POINTER)&input[i], inputLen-i);
	return(*this);
}

const QString MD5::final(void)
{
	if(!isFinalized){
		uchar bits[8];
		uint index, padLen;
	
		/* Save number of bits */
		encode(bits, context.count, 8);
	
		/* Pad out to 56 mod 64.*/
		index = (uint)((context.count[0] >> 3) & 0x3f);
		padLen = (index < 56) ? (56 - index) : (120 - index);
		uchar PADDING[64] = {
			0x80, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
			0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
			0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0
		};
		update(PADDING, padLen);
	
		/* Append length (before padding) */
		update(bits, 8);
	
		/* Store state in digest */
		encode(digest, context.state, 16);
	
		memset((POINTER) &context, 0, sizeof(context));
		isFinalized = true;
	}
	QString ret;
	for(uint i = 0; i < 16; i++){
		ret.append(QString("%1").arg(QString::number(digest[i], 16), 2, '0'));
	}

	return(ret);
}

void MD5::transform(quint32 state[4], uchar block[64])
{
	quint32 a = state[0], b = state[1], c = state[2], d = state[3], x[16];

	decode(x, block, 64);

	/* Round 1 */
	FF (a, b, c, d, x[ 0], S11, 0xd76aa478); /* 1 */
	FF (d, a, b, c, x[ 1], S12, 0xe8c7b756); /* 2 */
	FF (c, d, a, b, x[ 2], S13, 0x242070db); /* 3 */
	FF (b, c, d, a, x[ 3], S14, 0xc1bdceee); /* 4 */
	FF (a, b, c, d, x[ 4], S11, 0xf57c0faf); /* 5 */
	FF (d, a, b, c, x[ 5], S12, 0x4787c62a); /* 6 */
	FF (c, d, a, b, x[ 6], S13, 0xa8304613); /* 7 */
	FF (b, c, d, a, x[ 7], S14, 0xfd469501); /* 8 */
	FF (a, b, c, d, x[ 8], S11, 0x698098d8); /* 9 */
	FF (d, a, b, c, x[ 9], S12, 0x8b44f7af); /* 10 */
	FF (c, d, a, b, x[10], S13, 0xffff5bb1); /* 11 */
	FF (b, c, d, a, x[11], S14, 0x895cd7be); /* 12 */
	FF (a, b, c, d, x[12], S11, 0x6b901122); /* 13 */
	FF (d, a, b, c, x[13], S12, 0xfd987193); /* 14 */
	FF (c, d, a, b, x[14], S13, 0xa679438e); /* 15 */
	FF (b, c, d, a, x[15], S14, 0x49b40821); /* 16 */

	/* Round 2 */
	GG (a, b, c, d, x[ 1], S21, 0xf61e2562); /* 17 */
	GG (d, a, b, c, x[ 6], S22, 0xc040b340); /* 18 */
	GG (c, d, a, b, x[11], S23, 0x265e5a51); /* 19 */
	GG (b, c, d, a, x[ 0], S24, 0xe9b6c7aa); /* 20 */
	GG (a, b, c, d, x[ 5], S21, 0xd62f105d); /* 21 */
	GG (d, a, b, c, x[10], S22,  0x2441453); /* 22 */
	GG (c, d, a, b, x[15], S23, 0xd8a1e681); /* 23 */
	GG (b, c, d, a, x[ 4], S24, 0xe7d3fbc8); /* 24 */
	GG (a, b, c, d, x[ 9], S21, 0x21e1cde6); /* 25 */
	GG (d, a, b, c, x[14], S22, 0xc33707d6); /* 26 */
	GG (c, d, a, b, x[ 3], S23, 0xf4d50d87); /* 27 */
	GG (b, c, d, a, x[ 8], S24, 0x455a14ed); /* 28 */
	GG (a, b, c, d, x[13], S21, 0xa9e3e905); /* 29 */
	GG (d, a, b, c, x[ 2], S22, 0xfcefa3f8); /* 30 */
	GG (c, d, a, b, x[ 7], S23, 0x676f02d9); /* 31 */
	GG (b, c, d, a, x[12], S24, 0x8d2a4c8a); /* 32 */

	/* Round 3 */
	HH (a, b, c, d, x[ 5], S31, 0xfffa3942); /* 33 */
	HH (d, a, b, c, x[ 8], S32, 0x8771f681); /* 34 */
	HH (c, d, a, b, x[11], S33, 0x6d9d6122); /* 35 */
	HH (b, c, d, a, x[14], S34, 0xfde5380c); /* 36 */
	HH (a, b, c, d, x[ 1], S31, 0xa4beea44); /* 37 */
	HH (d, a, b, c, x[ 4], S32, 0x4bdecfa9); /* 38 */
	HH (c, d, a, b, x[ 7], S33, 0xf6bb4b60); /* 39 */
	HH (b, c, d, a, x[10], S34, 0xbebfbc70); /* 40 */
	HH (a, b, c, d, x[13], S31, 0x289b7ec6); /* 41 */
	HH (d, a, b, c, x[ 0], S32, 0xeaa127fa); /* 42 */
	HH (c, d, a, b, x[ 3], S33, 0xd4ef3085); /* 43 */
	HH (b, c, d, a, x[ 6], S34,  0x4881d05); /* 44 */
	HH (a, b, c, d, x[ 9], S31, 0xd9d4d039); /* 45 */
	HH (d, a, b, c, x[12], S32, 0xe6db99e5); /* 46 */
	HH (c, d, a, b, x[15], S33, 0x1fa27cf8); /* 47 */
	HH (b, c, d, a, x[ 2], S34, 0xc4ac5665); /* 48 */

	/* Round 4 */
	II (a, b, c, d, x[ 0], S41, 0xf4292244); /* 49 */
	II (d, a, b, c, x[ 7], S42, 0x432aff97); /* 50 */
	II (c, d, a, b, x[14], S43, 0xab9423a7); /* 51 */
	II (b, c, d, a, x[ 5], S44, 0xfc93a039); /* 52 */
	II (a, b, c, d, x[12], S41, 0x655b59c3); /* 53 */
	II (d, a, b, c, x[ 3], S42, 0x8f0ccc92); /* 54 */
	II (c, d, a, b, x[10], S43, 0xffeff47d); /* 55 */
	II (b, c, d, a, x[ 1], S44, 0x85845dd1); /* 56 */
	II (a, b, c, d, x[ 8], S41, 0x6fa87e4f); /* 57 */
	II (d, a, b, c, x[15], S42, 0xfe2ce6e0); /* 58 */
	II (c, d, a, b, x[ 6], S43, 0xa3014314); /* 59 */
	II (b, c, d, a, x[13], S44, 0x4e0811a1); /* 60 */
	II (a, b, c, d, x[ 4], S41, 0xf7537e82); /* 61 */
	II (d, a, b, c, x[11], S42, 0xbd3af235); /* 62 */
	II (c, d, a, b, x[ 2], S43, 0x2ad7d2bb); /* 63 */
	II (b, c, d, a, x[ 9], S44, 0xeb86d391); /* 64 */
	
	state[0] += a;
	state[1] += b;
	state[2] += c;
	state[3] += d;

	memset((POINTER)x, 0, sizeof(x));
}

void MD5::encode(uchar *output, quint32 *input, uint len)
{
	uint i, j;

	for(i = 0, j = 0; j < len; i++, j += 4){
		output[j] = (uchar)(input[i] & 0xff);
		output[j+1] = (uchar)((input[i] >> 8) & 0xff);
		output[j+2] = (uchar)((input[i] >> 16) & 0xff);
		output[j+3] = (uchar)((input[i] >> 24) & 0xff);
	}
}

void MD5::decode(quint32 *output, uchar *input, uint len)
{
	unsigned int i, j;

	for(i = 0, j = 0; j < len; i++, j += 4)
		output[i] = ((quint32)input[j]) | (((quint32)input[j+1]) << 8) | (((quint32)input[j+2]) << 16) | (((quint32)input[j+3]) << 24);
}

void MD5::memcpy( POINTER output, POINTER input, uint len )
{
	uint i;

	for (i = 0; i < len; i++)
		output[i] = input[i];
}

void MD5::memset(POINTER output, int value, uint len)
{
	unsigned int i;

	for (i = 0; i < len; i++)
		((char *)output)[i] = (char)value;
}

Работает примерно так:

Код:

MD5 hash;
hash.update("усiляка хрiнотiнь").update("ще раз").update("та ще трошечки");
QString ret = hash.final();

С потоками не работает, но прикрутить можно без проблем.

[Larrikin]

Спасибо большое за код .
Попробовал прикрутить к потоку как уж сумел:

Код:

QString checkMdsum (QString file){
			MD5 hash;
			filech = new QFile(file);
			if (!filech->open(QIODevice::ReadOnly | QIODevice::Text))
				 return 0;
			while (!filech->atEnd()) {
				QByteArray line = filech->readLine();
				hash.update(line);
			}
			QString res = hash.final();
			return res;
}

Набор из 100 файлов, общей размер около 80Мб считает около 6 мин.
Это я неэффективно прикрутил или так оно и должно быть?
Нашел ту же функцию на C. прикрутил, тоже долго.
Машина - P4 1500, памяти 1Gb.

[AlexKiriukha]

Ну так это не совсем к потоку
Реализация, которую я привел, действительно не оптимальная. Есть на чистом C - если надо, выложу.

[Larrikin]

Ну так это не совсем к потоку
Реализация, которую я привел, действительно не оптимальная. Есть на чистом C - если надо, выложу.

На чистом си нашел в интернете, прикрутил так же. Считает так же долго.
Может выложишь свою реализацию? Если можно, к потоку .

[Admin]

в линуксе есть утилита md5
возмите ее исходники

достаточно быстро работает

[AlexKiriukha]

На чистом си нашел в интернете, прикрутил так же. Считает так же долго. Может выложишь свою реализацию? Если можно, к потоку .

http://www.garret.ru/~baranov/#boost_md5 - тут MD5 (boost). Умеет работать с потоками.
Есть реализация на чистом C, но не знаю как на форум выложить файл. Это возможно?

[Larrikin]

На чистом си нашел в интернете, прикрутил так же. Считает так же долго. Может выложишь свою реализацию? Если можно, к потоку .

http://www.garret.ru/~baranov/#boost_md5 - тут MD5 (boost). Умеет работать с потоками.
Есть реализация на чистом C, но не знаю как на форум выложить файл. Это возможно?

Отлично! Прикрутил. Поправил немного namespase и все. К потоку все отлично прикрутилось. Обсчитывает 80Мб за 6 сек. Супер.

Хинт: если прикручивать файловый дескриптор, то файло нужно открывать как binary. Иначе глючит. Это баг(фича?) винды.

Код:

QStting file = "filename";
std::ifstream f(file.toAscii(), std::ios::binary);
md5 m(f);
QString sum = m.digest().hex_str_value();