Russian Qt Forum

Здравствуйте. Столкнулся с проблемой вывода формулы расчёта процента правильных ответов для тестирующей системы.
Казалось бы, всё банально просто:
% правильных = кол-во правильных ответов / кол-во вопросов * 100.
Но тут возникла проблема - есть вопросы, в которых несколько правильных ответов, следовательно и вопрос там уже звучит типа "отметить галочками правильные". То есть, человек, может отметить все ответы в таком вопросе, в том числе и неправильные, а наша формула подсчитывает, исходя из кол-ва правильных, что уже будет некорректно.
Чтобы рассеять нависший туман, давайте изменим отношение {вопрос-правильный ответ} из 1:1 на 1:М, и добавим такое же отношение 1:М {вопрос-неправильный ответ}.
Как вариант я подумал, что можно считать локально для каждого вопроса кол-во правильных и неправильных, а потом вычитать одно из другого, и найти сумму этих разностей и её и принимать за количество правильных ответов, но тогда возможны отрицательные значения, ибо кол-во неправильных может превышать кол-во правильных (хоть в каждом вопросе). Как тогда быть? Тупо принимать отрицательный результат за 0? Но это тоже как-то странно. Кто-нибудь уже решал подобную проблему? Посоветуйте, пожалуйста, как правильнее тут быть?

Количество правильных ответов  = считай за каждый ответ 1 бал.
Если на один вопрос несколько правильных ответов то их сумма должна быть 1. Т.е. если полный правильный ответ должен содержать 2 отмеченных пункта то вес каждого из них 0.5

Итого если имеем 2 вопроса. На один из них нужно отметить два ответа. И отвечающий ответил на один полный вопос павильно и отметил только один ответ в другом то:

% правильных = ((1 + 0.5) / 2) * 100.

Если так?

Так опять же, тут "палка о двух концах", нельзя учитывать ТОЛЬКО правильные ответы, ибо если он в обоих вопросах отметит все пункты и правильные и неправильные, тогда что? Ну даже если ввести "вес" каждого варианта ответа (правильного и неправильного), то опять отрицательных сумм не избежать. То есть, грубо говоря, человек отметил и правильные и неправильные. За неправильные его нужно как-то "покарать". И опять возвращаемся к отрицательным суммам...

Если в вопросе несколько правильных ответов и отмечен один из них, то ответ на вопрос считается правильным?

Это я и пытаюсь выяснить как считается подобное. По идее, частично. Мы же проценты считаем - тут могут спокойно могут быть дробные части. Только вот как, например быть, если он отметил один правильный и два неправильных... А три неправильных? Это же должно учитываться в том-то и дело.

Не. Я не о том.
Если не отмечены все верные ответы, то ответ считается неверным? Это как раз зависит от вида теста.

Я же сказал, что частично. То есть какая-то дробная часть будет прибавлена к итоговому количеству правильных ответов

если хоть один из множества вариантов ответов неверен, ответ также неверен.
не вижу смысла считать десятичные доли... это как "Вы ответили верно на 2.3 вопроса"? ))

Впечатление что без веса/цены ошибки не обойтись. Предельные случаи - человек вообще ничего не отметил, или, как Вы говорили, тупо пометил все. Разумный итог в этом случае должен быть = 0.

Пусть 1 пункт состоит из 5 вариантов, 3 верны, 2 нет. Тогда

- вес 1 верного варианта = 1/3
- вес 1 неверного = -1/2

Дальше просто проходим по вариантам что он пометил галочками. Верный помечен +1/3. неверный -1/2. Сумма оказалась < 0 - вернули 0

отмечены все правильные и только они - 1, иначе - 0

чтобы ботали как следует

Edit:


три пункта, все верны, разумный итог для всех отмеченных - 1, в вашем алгоритме -- деление на ноль
три пункта, все неверны, разумный итог для всех пустых - 1, в вашем алгоритме -- деление на ноль


не смешно

Ну все верны и все отмечены (или нет) - все нормально, никакого деления на ноль нет. А вот вариант когда "все неверны" - хмм.. действительно не укладывается  :) Может его отдельно рассматривать как boolean

В конце концов, любая оценка здесь "волевая" и любая имеет минусы. Все boolean - очень легко реализовать. но такой тест мало что покажет. Штраф за неверный провоцирует ставить меньше галочек и.т.п.

Согласен, иначе зачем их (подвопросы) объединять в один вопрос.  
Ответ может быть либо правильным, либо ошибочным. Чего-то среднего быть не должно)
Если этот тест не по философии  ;D

Думаю, тогда реализовать как предложил voral, но с учётом, что рассчитываем локально для каждого вопроса "вес" правильного ответа и "вес" неправильного ответа, находим общий "вес" правильных и неправильных, находим разность между ними, если она <= 0, то просто прибавляем 0 к текущей сумме правильных ответов, т. е. если человек отметил все, то он естественно получит 0. Ну а там дальше по "весу" уже определяем сколько он набрал за каждый вопрос. Но вот опять трабла, как быть в ситуации, например, если у нас в вопросе 3 правильных и один неправильный вариантов ответа? Тогда, получается, что если человек отметит неправильный и два правильных, то всё равно получит 0 баллов за этот вопрос. Блин, опять те же грабли...
Тогда, я считаю, что самый разумный вариант - это реализовать как говорит Igors здесь (http://www.prog.org.ru/index.php?topic=17587.msg117926#msg117926), с поправкой, что вариантов "ВСЕ верные", или "ВСЕ неверные" не будет :) Как вы думаете?

Идея следующая.
1. Рассчитываем (как я говорил ранее) процент правильных ответов.
2. Рассчитываем (по тому же алгоритму) процент неправильных ответов.

Дальше нужно по рассуждать и понять, что больше подходит в качестве оценки.
Вариант 1. Просто Вычитаем из процента правильных процент неправильных
Вариант 2. Считаем ту же разность как и в 1 варианте. За 100% принимаем 100% правильных и 0% неправильных, за 0% - 0% правильных и 100% неправильных. Узнаем где находится на этой шкале наш результат по варианту 1.

Тогда получается пример: два вопроса. В каждом по одному правильному варианту ответа. В первом мы ткнули правильный, во втором неправильный. Получается мы должны получить 50%. А мы получим 0%, ибо мы и так 50% ответили правильно и 50% ответили неправильно. Одно из другого вычитается и получается 0.
Или в таком случае вообще не нужно считать кол-во правильных, а только кол-во неправильных? То есть изначально у нас 100% и мы отнимаем от них % неправильных и получаем сколько у нас правильно. Соответственно, если всё правильно, то 100% так и останется.

Да надо прикинуть на конкретных цифах....

Как вариант. Вычитать из процента правильных процент неправильных в рамках каждого отдельного вопроса. Это у нас получится процент правильности ответа. Потом эти значения от всех ответов сложить.

Т.е. в вашем примере получиться (лучше навеное не в%,а в коэффициентах):
1 вопрос 1/1 (павильно) - 0/1 (непавильно) = 1
2. вопрос 0/1 (павильно) - 1/1 (непавильно) = 0

Т.е. по итогам теста ((1+0)/2)  * 100% = 50


Если есть третрий вопрос имеющий 2 правильных и один неправильный варианта ответа: отметили 1 павильно и 1 непавильно
1 вопрос 1/1 (павильно) - 0/1 (непавильно) = 1
2. вопрос 0/1 (павильно) - 1/1 (непавильно) = 0
3. вопрос  1/2 (павильно) - 1/1 (непавильно) = -0.5 .... мда не то
Т.е. по итогам теста ((1+0-0.5)/3)  * 100% =

Надо покумекать хотя есть идея один момент...

Итак.
Для каждого отдельного вопроса считаем разность как я предлагал. (в скобках то же но в коэффициентах - что наверное более правильно)
если 1 то ответ решен на 100% (1)
если 0 то на 50% (0.5)
если -1 то на 0% (0)

Школьный кус математики и получаем

в%: y=(50*x+50)
в коэф: у=(0.5х+0.5)

где x - получившаяся разность, а y  - оценка ответа на вопрос

В итоге вернемся к нашим баранам

1 вопрос 1/1 (павильно) - 0/1 (непавильно) = 1      y=1
2. вопрос 0/1 (павильно) - 1/1 (непавильно) = 0     y=0
3. вопрос  1/2 (павильно) - 1/1 (непавильно) = -0.5 y=0.5*-0.5+0.5=0.25
Т.е. по итогам теста ((1+0+0.25)/3)  * 100% = 75%

Если и будут то их можно свести к "регулярным". Напр. добавить в каждый пункт 2 checkbox ("все верные" и "все неверные") - ну придется немного допилить UI. Тогда тестируемый вообще не сможет ничего не отметить - и это правильно.

voral, спасибо :)
Теперь буду думать как это реализовать средствами MySQL, так как вся бизнес-логика на нём именно

звучит пугающе.. Может проще считать число d отклонений от правильного ответа? Потом давать пользователю за ответ (n - d) / n баллов, где n это число чекбоксов (т.е. все правильные отмечены - 1, все неправильные отмечены - 0, ни один не отмечен - b / n, где b число неправильных). Это на sql просто реализовать, типа select (count (*) - sum (cb == correct_cb)) / count (*) from .. group by question_id

На вскидку неглядя на структуру можно через хранимые процедуры, если версия позволяет (правда я в мускуле ими не пользовался).

гм... можно вопрос...
а уважаемый пишет методику или пришет программу?

потому что вопрос относится к методике оценки корректности тестов, и однозначного ответат тут нет.
Этот вопрос надо задавать тому, кто разрабатыват тест, а не к тому кто думает как бизнес-логику реализовывать...

Если вы пишете универсалную программу - то реализуйте и предложите заказчику несоклько вариантов расчета.
я вижу как минимум 2 варианта для вопросовс ответами "многие из многих":

1) обычно делают так: Если отмечен хоть один не верный, или не отмечен верный - весь ответ считать не верным. т.е. "0"..
Если отмечены верные ответы и только они - то верный ответ = "1".

2) считать коэффициент верности ответа по воличеству верных и не вреных галочек галочек.
Вес верной галочки = "+1/good", где good - количество верных галочек среди и предложенных на выбор.
Вес ошибочной галочки = "-1/bad", где bad - количество ошибочных галочек среди и предложенных на выбор.
Верность ответа - сумма весовых коэффициентов отмесенных галочек. т.е. за верную галочку - дают чать былла, за ошибочную - снимают.

И что не мало важно - надо считать не процент "верных ответов", а "количество набранных баллов из максимально возможных".
Как только вы начинаете считать баллы, а не верные ответы - то все становится немного проще для понимания.

_____________
теперь прочитал топик) да, это почти то что предложил Voral, но скажем так - со штрафными санкциями при отметке ошибочных.
для второго варианта могу предложить автору заранее предрассчитывать для каждого вопроса веса каждой галочки и загонять в таблички. потом надо будет их умнодить на галочки и сложить. Возможно даже средствами SQL получится...

Но я бы все-таки предложил сделать поддержку 2-х вариантов расчета "правилности". ;) потому что бывают случаи, что когда человек не знает всех вариантов отчета четко - то он лучше бы он сразу признал чтоничего не знает.)))

(следует понимать "часть балла"). Единственное что неоднозначно в этой задаче - сколько снимать? Мне кажется что сумма всех неправильных должна быть -1 (так же как сумма всех правильных +1). Пусть это и не идеально: напр только 1 неправильный из 5, пометил - получил 0, может это и не совсем то что хотелось. Но др. варианты имеют больше минусов

;D истинно так)

В первом приближении - все однозначно.Сумма весов всех верных галочек в вариантах ответа на один вопрос = 1
Сумма весов всех не верных галочек в вариантах ответа на один вопрос = -1
Т.е. если испытыемый отметил все галочки что у него есть - он гарантированно получит "0", за этот ответ.
Вес каждой одной верной(или не верной) галочки (в общем случае) равен весу другой галочки в этой категории (верные или не верные).

Пример.

Верные галочки:
два, три, пять. Всего 3. "Весовой коэффициент" каждой галочки = 0.33333

Не верные галочки
один, четыре. Всего 2. "Вес" каждой галочки = -0.5
(считаем, что единица "формально" к простым числам не относится. Ни к простым, ни к составным. Потому что ряд простых чисел начинается вроде с двойки. поправьте если что...)

Итого: в общем виде так: отметив
студент получит:
(-0.5)+(0.333)+(0.333)=0.166 балла.

Округлим до сотых в большую сторону: получи 0.12 балла. (ошибка в сотых балла - многоне сыграет, но позволит сохранить "точность" в десятых балла.

но по хорошему - я бы предложил реализовать режим, когда автор теста, при составлении теста сам указывает за какие галочки сколько именно начислять и сколько снимать. Логика тестирования можетбыть оччень разной. В идеале - надо дать возможность скриптовой обработки данных галочки )))).

Я уже говорил, что считаю постановку вопроса не правильной. Если подвопросы объеденены в один вопрос, то существует только одна правильная комбинация, все остальные, по логике нужно считать ошибочными. Ну да ладно, это моё имхо))

По сути вопроса:
Я бы рассуждал так. Пусть имеется N подвопросов (чекбоксов). Всего вариантов ответов (комбинаций) 2^N. Из них один правильный. Значит неправильных 2^N-1.

Любой вариант ответа можно однозначно представить в виде числа в двоичной форме.
Например, пусть N = 2. Тогда всего 4 варианта:
00
01
10
11
Пусть правильному ответу соответствует число 01 (1). Назовём его exactAnswer = 01.
Юзер выбирает комбинацию, пусть userAnswer = 11 (3).
Проверяем пересекается ли в userAnswer с правильным exactAnswer:
exist = userAnswer & exactAnswer;
Если не пересекается exist == 0 и соответствующий бал просто 0
Если пересекается, как в нашем случае, то exist = 01. (не ноль!)

Последний шаг: Какправильно поставить бал, в случае если exist != 0, используя только значения exist, userAnswer и exactAnswer?
     
 

Кроме случая  все ответы верны (обсуждалось выше). А вообще это правильно - если он наугад отметил все - должен получить 0

Ну так удобно/легко программисту - но не пользователю  :)  На такой тест мало кто может ответить, поэтому он может быть неэффективен

Ну это не сложно вовсе реализовать:
Нужно просто проверить число совпадений и поделить на общее число N.
Как в примере:
exactAnswer = 01
userAnswer = 11
N = 2, число совпадений n = 1
Общий бал = 1/2

Значит потыкав наугад, (или просто пометив все) тестируемый почти всегда имеет какое-то положительное сальдо? Сомнительно

Именно) А откуда вы знаете, потыкал он наугад, или это был его обдуманный выбор? Каков критерий?
Поэтому я и говорю, что такая постановка не корректна. И если подвопросы объединяют в один вопрос, то это подразумевает, что правильный ответ должен быть всегда один.
В противном случае, их (подвопросы) с таким же успехом можно было бы оформить как независимые самодостаточные отдельные вопросы.

Всё равно не понимаю смысла вводить отрицательные баллы и тому подобные сложности с весами..
Зачем?

Чем не устраивает вариант просто считать совпадения и окончательный балл расчитывать как отношение числа совпадений к общему числу подвопросов?
Пример:
Пусть N = 3, имеется 8 вариантов ответов:
000
001
010
011
100
101
110
111
Пусть правильный ответ 011. тогда каждому варианту ответа можно сопоставить свой балл:
000 балл = 1/3
001 балл = 2/3
010 балл = 2/3
011 балл = 1
100 балл = 0
101 балл = 1/3
110 балл = 1/3
111 балл = 2/3

Или я что то не так понимаю?
 

 

гм... вы не находите странным, что если оставить по умолчанию все глочки пустыми - т.е. пропустить вопрос - даст 1/3 балла?
с чего за пропущенный вопрос начислять баллы?

т.е. в вашем варианте - имеется некое число баллов которое будет начислено "по умолчанию", если человек не ответит ни на один вопрос. так? и в итоге - надо считать не то сколько баллов он набрал , а то, насколько он отклонился от этой суммы по умолчанию.

т.е. продолжая ваш пример, отнимем от каждого варианта ответа сумму по умолчанию (1/3 балла)

Ничего не напоминает? итоговое число баллов за каждый вариант походит на "модель с весовыми коэффициентами".
но только у вас - "вес каждой галочки" рассчитывается как (1/всегоВариантов), а знак определяется тем, это правильный варинат или нет.

т.е. "в вашем варианте" первая галочка "весит" (-1/3) (потому что она "не совсем верная"),  вторая и третья (+1/3) балла (потому что они "верные").

Проврием, посчитаем:
Все точно. А Если сместить итог на +1/3 то получим ваши изначальные расчеты.

Чуете? ваша модель сводится к частному варианту модели с весовыми коэффициентами.
но только ваше описание - усложнено хитрым алгоритмом, и "дополнительным смещением" в +1/3 в результате.

итог - весовые коэффициенты позволяют упростить описание модели и подсчет итогового числа баллов.
 ;D

Нет, я не нахожу это странным) А если правильный ответ был бы 000?
Весь парадокс в том, что Вы в своей схеме делаете неравноправными случаи, если
1) ставится галочка за неправильный ответ (или ставится галочка за правильный ответ)
и
2) не ставится галочка за правильный ответ (или не ставится галочка за неправильный ответ).
Но Вы не можете решать какой ситуации отдать предпочтение, поскольку все мы разные и имеем разный образ мысли.  

В общем случае это не так. Просто в варианте, что я привёл ваше так совпало. Если бы правильный ответ был бы 111, то не отметив ни одной галочки общий балл == 0. Ещё раз повторяю, Вы не можете отдать предпочтение ситуации когда ставят галочку за неправильный ответ ситуации, когда не ставят галочку за правильный ответ. Они должны быть равноправными! Если Вы это примете, то не будете удивлятся этому кажущемуся парадоксу.

Зачем? Не вижу в этом смысла.
 

Сложным алгоритмом? Вы серьёзно считаете, что сравнить N булевых переменных это сложно?
Вообще для этого с избытком хватит одной переменной char, поскольку она содержит информацию о всех возможных вариантах аж 256 подвопросов))

;D

Скажите, как быть с Вашим алгоритмом, когда правильный ответ - не отмечена ни одна галочка? Деление на ноль?

в принципе да. Но если человек вопрос на экране не видел (во время не уложился), то можно не начислять

вопрос: сколько ног у мухи?
1. шесть
2. от двух до восьми
3. у мух вместо ног плавники

человек отметивший только вариант 3 ответил хуже, чем человек не отметивший ничего (который, может быть думал, что у мухи 10 ног, но всё-таки не докатился до бреда из 3)

да как вы не поймете - вы спорите о том, "насколько более правильной являются разные равноправные модели оценки"  ;D
просто есть более менее типовые варинаты (и они перечислены выше: 1) "одно несовпадение - весь ответ плохой" и 2) "весовые коэффициенты"). а в остальном - все зависит от того, какую логику преследует автор теста. (включая вариант ответов "про ноги у мухи").

Вы как разработчики не можете, и не должны пытаться выбирать "_самую_верную_" модель. А вы тут спорите что лучше)))

Тесты бывают _РАЗНЫЕ_. Правльной модели нет. Надо просто выбрать те модели которые вы будете поддерживать.

вот ещё, с симпатиями к подходу все давно определились. Просто минусединицы это бред. Есть максимальное приближение к правильному и максимальное удаление. За макс. приближение надо давать 1, за макс. удаление 0. За середину на этом пути 0.5. Можно ввести веса (т.е. такой-то ответ очень умный или очень глупый), но и тогда считать надо так. И да, если расклад 2/2, то получаешь .5 даже ничего не ответив.

В этом случае - деление на ноль может возникнуть только при попытке рассчитать вес "не совсем корректной галочки", которой нет. Причем в алгоритме, который рассчитывает весовые коэфф. галочек. У нас нет таких галочек, и делить на ноль - не зачем. Почему это вызывает у вас вопрос?
ограничение что бы программа не пыталась рассчитать "ненужные веса несуществующих галочек - вполне нормальное ограничение".

ну а если серьезно - то
тогда в вариантах ответа появляется 4-я галочка - ни один из перечисленных выше вариантов.

Ваш пример не корретен тем, что он не позволяет выявить "факт проведения тестирования по данному вопросу".
Т.е. вы не можете отличить ситуацию, когда человек даже не видел вопрос (и за вопрос который он не видел - ему начислены баллы) от вопроса "который он видел и ничего не сделал" (мол правильный ответ  отсутствие ответа).

А при тестировании, согласитесь - нам надо рассматрвать в первую очередь вопросы на которые ответ получен (пусть даже и пустой). А ваш пример с "000" не позволяет понять - действительно ли так человек думает, или он вообще "не смотрел вопрос".

Единственный явный признак того, что тестирование по даному вопросу проведено - это наличие хоть одной отметки.
Поэтому, ваш пример с "000" - вырожденный случай, который должен переродиться в "0001", где последнее - это пункт "ни одно из вышеприведенных".

А в чем должно выражаться "равноправие"? вы борец за равноправие среди галочек в анкетах? фифифи  ;D
отмечание галочкой некорреткного пункта - это плохо. Равно как и неотмечание правильного.
И то и другое должно выражаться в уменьшении числа баллов которые будут выданы вам за данный ответ.
В чем выражается "неравноправие"? в разных весовых коэффициентах которые рассчитыватся исходя из общего количества данного типа галочек? мол за плохую галочку - я с нимал в примере -0.5 а за хорошую начислял 0.3 ? ну так согласитесь - это не претензия к модели с веовыми коэффициентами - это претензии к алгоритму расчета весовых коэффициентов.

Ваш алгоритм своится все к то-же моели с весовыми коэффициентами за каждую галочку. Только вы и за плохую и за хорошую галочку снимаете одно и то-же количесвто баллов - (+1/3) или (-1.3)  ))

Назначайте за плохие галочки (-1), а за хорошие (+1). ПРосто в этом случае вы можете выйти на "не-ноль", если аттестуемый тупо "отметит все галочки". Но это тоже вопрос методики оценки и методики расчета весов "галочек".

А это - ещё раз говорю - задача автора тестов, а не того, кто программирует систему проведения тестов. Как я уже говорил - автору имхо, надо реализовать несколько моделей оценки правильности. Одна из них (и наиболее универсальная имхо) - весовые коэффициенты за отмеченные галочки, причем как с несколькими вариантами расчета весовых коэффициентов (мой, ваш), так и с режимом когда автор сам указывает вес каждой галочки.

Бред? ORLY?!

Вопрос не в ваших симпатиях, и не в симпатиях сообщества разработчиков) А в том, что надо реализовать автору тестов. А тесты бывают ОЧЕНЬ разные. И авторы бывают очень разные. от технарей, до гуманитариев и психологов.

Про тесты последних (психологи) я вообще молчу, (и "дико ржу" над тем, как вы собираетесь их тесты засунуть в ваши модели.... анализ корректности вопроса "про ноги у мухи" - он просто примитивен по сравнениб с тем что там могут придумать.) Методика расчета "правильности" может включать в себя очень (ОЧЕНЬ!!!!) много разного. Статистические таблицы какие-нибудь... или вот напрмер, анализ "разнобоя" ответов на связанные вопросы раскиданные по тесту в разные места с расчетом "коэффициента доверия" - самое милое дело.  А вы тут со своими "за максимальное приьлижение +1, за максимальное удаление +0" или чем-то типа  "что учше - 'весовые коэффициенты' или 'непопадание ответов'"... мелко плаваете, госопода  ;D

Все это - равноправные на существование варианты (причем частные случаи). И что выбирать - решать не вам. решать автору теста.

Понимаете меня? в нормальной программе тестирования вам надо не только делать несколько простых вариантов анализа ответа - но и по большому счету (если делать "правильную" программу) иметь возможность заложить собственный алгоритм анализа (в случае Qt кстати вся прелесть в наличии QtScript), - все просто потому, что то, что придумает автор методики тестирования - вы никогда не предугадаете. Вам это просто в голову не может прийти.

PS: Просто поверьте мне. У меня дипломная работа была - "разработка системы тестирования" ;)

Нет, Вы не внимательны, спор не об этом.
Давайте абстрагируемя. Логика теста, его методика проведения и анализ полученных данных - это нас сейчас не касается (как разработчикам). Пусть этим занимаются психологи.

Наша цель - поставить суммарный бал за вопрос, который включает в себя N подвопросов, на каждый из которых можно ответить либо согласен, либо не согласен.

Теперь следите за мыслью. Я сделаю несколько предположений, а Вы, если не согласны с каким либо напишите потом.
1) Мы предпологаем, что испытуемый делает осмысленный выбор, ставя галочку (если согласен) или не ставит галочку (если не согласен) с каждым пунктом.
2) Мы предпологаем, что если испытуемый ошибается и ставит галочку там где её быть не должно он должен быть наказан, и степень этого наказания должна быть тождественна степени наказания, как если бы он ошибся не поставив галочку там, где она должна быть
3) Мы предпологаем, что все правильные подвопросы имеют одинаковый вес, и все не правильные имеют свой одинаковый вес.
4) Следствие п.1 Любая комбинация ответов - это осмысленное решение испытуемого, включая ситуацию, когда ни одна галочка не поставлена.

Теперь я утверждаю, что предложенный мной вариант не противоречит ни одному положению, перечисленных выше.
А Ваш алгоритм?

Это не так, не одно и то-же колличество баллов. Это важно!
Оценка производится как отношение числа совпавших ответов к общему числу вариантов.
Т.е. ещё раз:
Пусть правильный ответ 011. тогда каждому варианту ответа можно сопоставить свой балл:
000 балл = 1/3
001 балл = 2/3
010 балл = 2/3
011 балл = 1
100 балл = 0
101 балл = 1/3
110 балл = 1/3
111 балл = 2/3
Варианты здесь такие: 0, 1/3, 2/3, 1.
Да, фактически, можно отнести этот метод, как Вы говорите, к методу с весовыми коэффициентами.

  
  
 

простите, но сразу - как только вы говорите "Наша цель - поставить суммарный бал за вопрос" - то вы сразу пртиворечите вашему же - "Логика теста, его методика проведения и анализ полученных данных - это нас сейчас не касается (как разработчикам).".
Как только вы говорите про "суммарный балл за вопрос" - вы сразу начинаете определять определенный круг методик аналиа ответов. Потому что методика анализа, в общем случае, может не включать такую вещь как "балл за вопрос"...

ну это я придираюсь)))

верно)В общем случе - не нам как разработчикам решать, но пусть будет так. Как частный случай.Если опустить придирки к двоякочтению... - то если как продолжение мысли из вашего пункта 2 - то путь так.
Но в общем случае - не обязательно - это решать автору тестов.

только в том случае, когда вы можете отличить осмысленны выбор, от отсутствия факта выбора вообще. А вы, допуская пустое множество выбранных галочек - не можете отличить "отмысленный выбор" от "игнорироания вопроса".

Пример - результат бросания монеты - это ноль или один. Но кроме всего этого - надо обязательно знать, бросалась ли монета вобще. Если не бросали - то то, что у вас написано в "результате бросания моенты" ("орел" или "решка") - бессмысленно.
Фактически или нужно третье значение бита - null например ))) либо, - вы должны исскуственно вводить дополнительный бит. который должен явно говорить - что аттестуемый выбрал "не один из вышеперечисленного". Понимаю, трудно. до концепции "нуля" математика шла 4 столетия. А до концепции NULL-а и сегодня не все дошли.  ;D (простите, не обижайтесь...  )

Так и тут. Когда "ни одна галочка не отмечена" - это не всегда осмысленный выбор.  
вы не можете отличть "вопрос на который не давался ответ"(все пустые галочки), от "осмысленного невыбора ни одной из галочек"(тоже все пустые галочки). У вас отсутствует (важная!) информация о сознательнсти выбора пустого значения в ответе.
А вы, в ходе тесирования, согласитесь - должны выявлять именно факты сознательного выбора.

Что имеем в итоге?
Если бы вы были автором тестов - я бы сказал, что это ваше право. Но вообще - так делать, имхо, не самая лучшая практика; это "методическая ошибка", имхо.

Ну почему же не так... Все так)) отличие от чистой "модели с весовыми коэффициентами" - только в том, что к баллам за каждый вопрос (сумме весов выбранных галочек) вы прибавляете собственную (для вопроса) константу (равную, кстати, (-1)*(сумму_весов_отрицательных_галочек) ) - которая по сути является "дефолтным призом" за неотвеченный вопрос.

И делаете вы это только для того, что бы формально "убежать от отрицательного начисления быллов". Но зачем, что вы видите плохого в отрицательном начислении баллов?

А если допустить отрицательное начисление за выбор неверны галочек, с принудительным вводом как минимум одной "верной галочки" (что в подавляющем числе случаев не трудно - достаточно перефразировать вопрос или ввести ещё один пункт) - то все становится хорошо.
За игнорированный вопрос = всегда 0.
За ошибку - уменьшаем баллы.
За хорошу галочку - начисляем.

Начислять в общую сумму отрицательные баллы за вопрос или всегда не меньше нуля - как опция в анализе ответа.

__________________________________________________________________
В общем ваш вариант расчета - один из многих, но без дополнительного бита, требующего явно себя отметить (всегда, или "если не выбран ни один вариант из приведенных") - вы не можете отличить "вопрос, на который дан сознательный пустой ответ", от "неотвеченного вопроса" ( на который ответ даже не давался), и он рискует попасть в категорию "метолическая ошибка".

По результатам единичного теста никто не в состоянии сделать какой либо вывод.
И единичный результат бросания монеты - не имеет ни какого смысла.
Психологам важно набрать статистику у целой аудитории испытуемых отобранной по какому либо признаку. И даже более того, их не интересуют результаты конкретного теста - им важны интегральные харрактеристики, такие как среднеквадратичное отклонение от среднего, среднее и т.п.

Честно признаться я так и не здал экзамен по психологии)) И чувствую, что меня скоро препрут к стенке из-за этого) Два года ходил, чтоб сдать экзамен, но преподша - меня не взлюбила))  А использовала она нас, как подопытных кроликов и на каждом занятии мы были обязаны писать какой-либо новый тест. Я это к тому, что знаю что это такое))

Ну хорошо, поставим ещё один чек бокс - "не согласен ни с одним ответом".
Если Вам так будет спокойней))  
 
Я бы поставил пункт:  "да, я внимательно прочитал все подвопросы и подтверждаю, что осознано сделал свой выбор"
 ;D

Я ничего не прибавляю) И этот "дефолтный приз" не равен тому чему Вы написали. За не отмеченные балы можно получить и ноль и еденицу и всё что между ними, в зависимости от ситуации.

Я говорю про тестирование, которое уже базируется на каких-то исследованиямх, и ставит задачей (скажем так: ) "классификацию тестируемого индивидуума", в рамках уже созданной модели.
Например самый простой популярный тест - классифицировать ваш темперамент (как "холерик", "сангвиник" ...).

А вы здесь путаете это с массовым анкетированием, задачей которого в приведенном вами случае будет являться сбор данных, для последующего анализа, и, возможно, построения какой-либо модели закономерностей каких-либо параметров/метрик.

послушайте - если модель отталкивающаяся от весовых коэффициентов, с прибавлением указанной "поправки" - всегда дает точно такую-же цифру, что и ваш алгоритм - то ваш алгоритм, фактически, авляется частным случаем модели "с весовымикоэффициентами", потому что многео что может отразить "весовая модель" - не моет ваш алгоритм. )))

Если 2 модели повторяют друг друга, то можно ли считать что они разные? ( хотя можно ли рассматривать "синус" как частный случай рядов тейлора?  ;D )
ну уж по крайней мере - "взаимозаменяемыми" при заданных условиях такие модели можно наpвать. Что немаловажно с точки зрения алгоритмизации.
Если нет - то приведите примеры, которые я не смогу повторить 1-в-1 с помощью "весовой модели с поправками в кадом вопросе" ?

Можно и так) но только этот "чек-бокс" вы должны фактически относить к ответу на вопрос (потому что он проставляется при ответе на вопрос), но в алгоритме расчета балла за вопрос - анализировать "в особом порядке". Или относить к параметрам ответа... и тоже аналищирвоать в порядке отличном от "самогоответа" ...
так о чем я говорил? про усложнение модели ))) пусть не для реализации, но для понимания. Ваша модель, фактически, привоит к тому, что мы вынуждены "плодить сущности" сверх необходимого. имхо.


И ещё раз: это - "один из" возможных случаев.
Для разработчика программы тестирования - вернее для аналитика который опредедляет требования к программе - важно описать множдество случаев, и выделить в нем те варианты, которые должны поддерживаться, четко оговорив, что "а вот это - мы не поддерживаем. По крайней мере сейчас. ) ".

Почему -1 плохо? Вспомним школу, есть оценки 2, 3, 4, 5. Что такое "двойка"? Это просто предел ниже которого не опускаемся. Человек не отметил ни один правильный - учитель должен ставить двойку. Ах, он "зато" отметил неправильный(е). Ну так что, житейский здравый смысл подсказывает что это все равно оценивается "двойкой".

В нашем случае (с цифрами) мы получаем отрицательный баланс, подсекаем его до нуля. По-моему здравая мысль которая подтверждается опытом.  А вот залезая в "максимальное удаление" мы быстро приходим к абсурду пытаясь анализировать а что же "более неправильно"  :)

это для того, чтобы получить _монотонную_ оценку. У вас человек поставивший 1 неправильную галочку равен человеку, поставившему 4 неправильных галочки, потому что всё < нуля. А почему уровень отсечения 0? Может -0.23?

Кстати, про проверку факта ответа всё верно, в кьют даже чекбокс троичный есть, подумайте об этом :D

Хорошо, может я не совсем въехал в ваш метод. Вот пример:
N = 3. Правильный ответ 001. У меня получается так:
000 -> 2/3
001 -> 1
010 -> 1/3
011 -> 2/3
100 -> 1/3
101 -> 2/3
110 -> 0
111 - > 1/3
Если не отмечена ни одна галочка получаем 2/3
Теперь можно по-подробнее (с выкладками а то я щас плохо соображаю))) ваш метод и его связь с моим.

Я исходил (и собственно предположения которые я написал выше) из условий поставленных автором данной темы. На мой взгляд они (посылки и суждения) весьма трезвые и адекватные в данном случае.
И вообще, если имеется несколько теорий описывающих одно явление, но пока не понятно какую предпочесть, обычно выбирают самую простую. И Вы знаете, удивительно, но до сих пор это всегда срабатывало) Все самые красивые теории - на удивление очень простые)
Это так, заметка физика теоретика))

Согласен с товарищем brankovic )) Как раз выразил то, что я пытался донести)

А я кажется и не говорил что "обязательно отсекать <0" ))) я говорил что отсечение менее нуля - это опция. Одна из.

При варианте без отсечения - человек отметивший 4 неправильные галочки получает в сумме в 4 раза больше "штрафных баллов" (т.е. того отрицательного что тынет его в минус). (если в ответе 5 вариантов, один правильный, то отметивший 4 плохих галочки - получит в 4 раза больше штрафа чем отметисший одну плохую галочку. Например получит не (-0.2), а (-0.8 ) ).


ЗЫ: Ну вот ещё раз тут пытаются доказать что один "частный случай алгоритма анализа" лучше или хуже другого "частного случая" ))) Они не лучше и не хуже. Выбирать тот или иной алгоритм - это задача методиста. Дайте ему возмодность выбора. Да сделайте же ему оба варианта, блин...

не путайте разные модели учета ответов. Кроме того троичное значение чекбокса - это изначально не "неопределено" а "внутри много всего". народ может попутатся))))

В данном случае "троичные биты" (с возмодностью устанвоки в "undefined состояние") - возможно хороший выход для определения явного сознательного указания. Но как вы это решите интерфейсно? чекбокс с третьим состояние - не самый хороший выход... (изначально смысл ему дан другой) но идея достояная обсужления.

Но что важно - это новая модель. Её мы не обсуждали - мы обсуждали модель где чекбоксы - это "двоичные биты" - "верно / не верно".

Как будете "считать" модель ответов с "троичными битами"? Что вы будете начислять, в случае, если человек определился тольуо с двумя чекбоками из 5-и ? т.е. 3 остались "засеренными" в "undefined" состоянии? Вот вы и подумайте об этом  ;D

не захочет определяться, отключим кнопку next