Еще одно предложение по оцениванию данеток

Предложения и пожелания по вносу новых фич и дополнению старых

Модераторы: Азарапетыч, Администрация

Ответить

Мое отношения к предлагаемой системе оценивания данеток

Опрос закончился 23 дек 2006, 17:29

Поддерживаю
1
8%
В целом поддерживаю, но кое-что надо изменить
7
54%
Меня устраивает имеющийся вариант оценивания
3
23%
Категорически против любых посягательств на мое право оценивать данетки
2
15%
 
Всего голосов: 13

armoD
Читатель
Читатель
Сообщения: 13
Зарегистрирован: 18 сен 2006, 13:19
Пол: Мужской
Откуда: Калининград

Еще одно предложение по оцениванию данеток

Сообщение armoD »

Друзья!
Я понимаю, что тема многократно поднималась, но я позволю себе вынести на обсуждение еще один вариант. Тем более, что чего-то похожего на мое предложение я не встретил.
Основная идея - разумно ограничить произвольное оценивание, как в сторону занижения, так и завышения.
Итак, вот вполне реализуемый вариант ограничения произвола оценивающих.

1. Запретить перевод в отгаданные пока данетка активная.
2. Для случаев, когда автор хочет "убить" неудачную данетку, не обращаясь при этом к админам сайта, добавить на странице администрирования кнопку "Удалить данетку". В этом случае данетка удаляется из базы.
3. Пока данетку не оценят 6-10 (точную цифру можно обсудить) отгадавших ее игроков, запретить возможность ее оценивания остальными игроками.
4. В случае, если данетка в течении 5-10 дней (обсудить) после перевода в отгаданные не будет оценена нужным количеством игроков, исключить ее из рейтинга, как не вызвавшую интереса.
5. Если данетка получила право рейтингования, ее могут оценивать все. При этом, если оценивающий игрок ставит оцеку на 2,5 - 3,5 балла (обсудить) выше или ниже ее текущего рейтинга, то такая оценка не принимается к рассмотрению, а оценивающий игрок предупреждается о необъективности. Возможно, стоит запретить ему повторное оценивание этой данетки.

Конкретные значения пороговых величин предлагаемой системы оценивания можно обсудить. А можно провести стат. анализ базы данных на предмет оценки средних характеристик. Но это достаточно сложно. Лично я за экспертную оценку старожилами и админами сайта.

В качестве послесловия.
Мне приходилось заниматься программированием психологических тестов, опросов и в том числе методов субъективного оценивания. Предлагаемый мной способ оценивания был использована в одной из психолого-диагностических автоматизированных систем.

Аватара пользователя
maksim82
Популярный автор
Популярный автор
Сообщения: 1813
Зарегистрирован: 28 июн 2005, 17:28
Пол: Мужской
Откуда: Москва

Re: Еще одно предложение по оцениванию данеток

Сообщение maksim82 »

armoD писал(а):
При этом, если оценивающий игрок ставит оцеку на 2,5 - 3,5 балла (обсудить) выше или ниже ее текущего рейтинга, то такая оценка не принимается к рассмотрению, а оценивающий игрок предупреждается о необъективности. Возможно, стоит запретить ему повторное оценивание этой данетки.
Против категорически, несмотря на опыт инициатора опроса в составлении тестов и тд. Стоит ли объяснять почему?

Аватара пользователя
Dendr
Акула пера
Акула пера
Сообщения: 5717
Зарегистрирован: 06 май 2005, 15:11
Пол: Мужской
Откуда: Раменское, Мос.обл.
Контактная информация:

Re: Еще одно предложение по оцениванию данеток

Сообщение Dendr »

Вопросы есть.
1. Что имеется в виду в этом пункте?
armoD писал(а):1. Запретить перевод в отгаданные пока данетка активная.
2. Если данетку отгадали, допустим, только 3 человека. Но данетка и в самом деле качественная (такое бывало, и не раз). Как тогда быть? Вся "стройная система" тогда рушится.

3. Не берусь судить на 100%, что это так, но все же. Есть определенная категория отгадчиков, которые принципиально не оценивают данетки. И вот - если данную данетку отгадывают только такие, то она (независимо от качества) не попадет в рейтинг.

4. Полагаю, что такая система вводится для исключения "необъективности" оценщиков, которые не отгадывали данетку. А как быть с необъективностью оценщиков, отгадавших данетку? Допустим, данетка - хорошая, но администратор (не обязательно он и есть автор!) напортачил, и обозлил отгадчиков. Они поставили дружно "двойку". Оценщики, не отгадывавшие данетки, смотрят только на условие и ответ. Они ставят, допустим, 6 баллов (в среднем). Тогда всех (или почти всех - кто-то может поставить и 4) обвинят в необъективности, и хорошая, на самом деле, данетка окажется "ниже плинтуса".

5. Как быть с архивом из почти 3000 данеток?

armoD
Читатель
Читатель
Сообщения: 13
Зарегистрирован: 18 сен 2006, 13:19
Пол: Мужской
Откуда: Калининград

Re: Еще одно предложение по оцениванию данеток

Сообщение armoD »

maksim82 писал(а): Против категорически, несмотря на опыт инициатора опроса в составлении тестов и тд. Стоит ли объяснять почему?
Всеж таки стоит. Как вести диалог, если не знаешь аргументы оппонента?
Dendr писал(а): 1. Что имеется в виду в этом пункте?
Имеется ввиду предотвращение ситуации, когда автор переводит данетку в отгаданные после первой же оценки. Это надо для того, чтобы искусственно не завышался исходный рейтинг данетки. Допустим, первый же отгадавший поставил 10, хотя данетка средненькая. Автор перевел данетку в отгаданные и данетка сразу попадает на верх топа.

Вообще, идея предлагаемой системы - двухэтапное оценивание данетки.
На первом этапе производится т.н. экспертное оценивание. В данном случае в качестве экспертов выступают игроки отгадавшие данетку. Чем больше будет экспертных оценок, тем объективнее будет исходный рейтинг.
На втором этапе к оценке допускаются все желающие, но оценка производится в диапазоне X±a (X - исходный рейтинг, а - предельное отклонение от исходного рейтинга. При исходной 10-балльной шкале а обычно выбирают 2 или 3). Пусть исходный рейтинг был 6. Тогда шкала оценки для тех, кто не отгадывал данетку, будет 4-8 или 3-9. Т.е. нельзя будет злонамеренно "топить" данетку, выставляя 1 (как это происходит сейчас).
Dendr писал(а):2. Если данетку отгадали, допустим, только 3 человека. Но данетка и в самом деле качественная (такое бывало, и не раз). Как тогда быть? Вся "стройная система" тогда рушится.
Если действительно качественную данетку отгадали только 3 человека, то в этом целиком и полностью "заслуга" администратора данетки, который преждевременно перевел ее в отгаданные. Ну никогда я не поверю, что в игре, в которой участвет 600 человек, интересную, хотя и сложную, данетку не сможет разгадать больше 3 человек. Тут только вопрос времени - сколько ждать? Я думаю, дней 6-8 после первого отгадавшего будет достаточно, чтобы набрать минимум 10-15 оценок. Ну а не наберется нужного количества - значит данетка не вызвала интереса и в рейтинге ей делать нечего.
Dendr писал(а):3. Не берусь судить на 100%, что это так, но все же. Есть определенная категория отгадчиков, которые принципиально не оценивают данетки. И вот - если данную данетку отгадывают только такие, то она (независимо от качества) не попадет в рейтинг.
Крайне маловероятно. По моим наблюдениям, если данетка дожила до 15-20 отгадавших, она имеет на момент перевода в отгаданные минимум 10 оценок.
Dendr писал(а): 4. Полагаю, что такая система вводится для исключения "необъективности" оценщиков, которые не отгадывали данетку. А как быть с необъективностью оценщиков, отгадавших данетку? Допустим, данетка - хорошая, но администратор (не обязательно он и есть автор!) напортачил, и обозлил отгадчиков. Они поставили дружно "двойку". Оценщики, не отгадывавшие данетки, смотрят только на условие и ответ. Они ставят, допустим, 6 баллов (в среднем). Тогда всех (или почти всех - кто-то может поставить и 4) обвинят в необъективности, и хорошая, на самом деле, данетка окажется "ниже плинтуса".
Это самый существенный момент! Система экспертных оценок изначально предполагает непредвзятость экспертов. Но игра есть игра - все может быть. Я, например, когда попадаю на раздражающее администрирование, либо прекращаю разгадывание, либо не ставлю оценку сразу после разгадывания, а жду недельку.
По идее, для разгадавших данетку, неплохо было бы предусмотреть возможность выставления двух оценок: за администрирование и за качество данетки. И в рейтинг брать вторую оценку, а пар выпускать - в первой :) Можно было бы организовать еще и топ администраторов.
Ну а страховкой от эмоциональных оценщиков служит опять же количество полученных на этапе разгадывания оценок.

Кстати, опытные данетчики давно уже нашли способ борьбы со злостными "топильщиками" данеток. Они просто достаточно долго держат данетку в полуразгаданных, набирая большое количество нормальных оценок уже на этапе разгадывания. Утопить такую данетку гораздо сложнее. Последний пример такого рода - данетка "Выпивший" http://www.danetka.ru/cgi-bin/resolved.pl?id=1151745757
Хотя, конечно, 3 месяца разгадывания всеж таки перебор :D
Так что если система оценивания не будет изменена (а что-то мне подсказывает, что так и будет) всем авторам, которым хочется получить более-менее объективную оценку данетки советую использовать этот способ.
Dendr писал(а): 5. Как быть с архивом из почти 3000 данеток?
Эх, была бы у меня база, я б с ней такого наделал! 8)

Тут два варианта:
1. Архив не трогать. Новые правила применять только к новым данеткам. Топ всех времен преобразовать в зал славы. Изменение состава зала славы доверить отцам-основателям сайта и лучшим авторам. Начать новый топ всех времен. Кстати, весьма простимулирует авторов - в теперешний главный топ попасть не реально.
2. Пересчитать весь архив по новым правилам. Задача хоть и реальная, но достаточно трудоемкая. Вряд ли Федор на такое подпишется :)

Аватара пользователя
dP
Графоман со стажем
Графоман со стажем
Сообщения: 720
Зарегистрирован: 12 апр 2005, 18:26
Пол: Мужской
Откуда: Санкт-Петербург
Контактная информация:

Сообщение dP »

Так и хочется, как вот это все так разом ввести, чтобы потом посмотреть сколько оно продержится 8). Жаль никто этим заниматься не будет...
-эммм. а зачем winapi с MFC мешать?
-чтобы крышу быстрее сносило

Аватара пользователя
maksim82
Популярный автор
Популярный автор
Сообщения: 1813
Зарегистрирован: 28 июн 2005, 17:28
Пол: Мужской
Откуда: Москва

Re: Еще одно предложение по оцениванию данеток

Сообщение maksim82 »

armoD писал(а):
maksim82 писал(а): Против категорически, несмотря на опыт инициатора опроса в составлении тестов и тд. Стоит ли объяснять почему?
Всеж таки стоит. Как вести диалог, если не знаешь аргументы оппонента?
armoD, ИМХО никакие оценки нельзя отсекать. Ты никогда не узнаешь причины, по которым оценка сильно отличается от средней: возможно, это манипулирование и война за рейтинги, а возможно это и есть та самая искренняя субъективная оценка, ради выяснения которой и нужна опция "оценить".

Возможно стоит рассчитывать среднюю оценку, давая индивидуальным оценкам разные веса: "выбросам" давать меньший вес. Но, опять же, это не совсем честно.

armoD
Читатель
Читатель
Сообщения: 13
Зарегистрирован: 18 сен 2006, 13:19
Пол: Мужской
Откуда: Калининград

Re: Еще одно предложение по оцениванию данеток

Сообщение armoD »

maksim82 писал(а):
armoD, ИМХО никакие оценки нельзя отсекать. Ты никогда не узнаешь причины, по которым оценка сильно отличается от средней: возможно, это манипулирование и война за рейтинги, а возможно это и есть та самая искренняя субъективная оценка, ради выяснения которой и нужна опция "оценить".

Возможно стоит рассчитывать среднюю оценку, давая индивидуальным оценкам разные веса: "выбросам" давать меньший вес. Но, опять же, это не совсем честно.
В одноуровневой системе оценивания, как сейчас, согласен - отсечение не всегда будет создавать объективную картину. Хотя и применяется довольно часто.
Я же предлагаю двухуровневую систему оценивания. На первом, экспертном уровне, когда данетку оценивают только отгадавшие ее игроки (эксперты) формируется достаточно объективная оценка. Тем более объективная, чем больше будет оценивающих. На этом этапе никакие оценки не отбрасываются!
Для оценщиков, которые не принимали участие в разгадывании, просто формируетя другая шкала оценки. Фактически и здесь не отбрасываются оценки, просто оценивание происходит в более узком диапазоне оценок. Ведь и при действующей системе оценок находятся желающие поставить оценки и -10, и +20. И ведь наверняка это и есть искренняя субъективная оценка, но система оценивания "отбрасывает" такие оценки - играть надо по правилам. А в предлагаемой мной системе просто две разные шкалы для разных категорий игроков - все честно! Хочешь оценивать по полной шкале - разгадай данетку. Не хочешь разгадывать - смирись с ограничением.

Аватара пользователя
maksim82
Популярный автор
Популярный автор
Сообщения: 1813
Зарегистрирован: 28 июн 2005, 17:28
Пол: Мужской
Откуда: Москва

Re: Еще одно предложение по оцениванию данеток

Сообщение maksim82 »

armoD писал(а): Я же предлагаю двухуровневую систему оценивания. На первом, экспертном уровне, когда данетку оценивают только отгадавшие ее игроки (эксперты) формируется достаточно объективная оценка. Тем более объективная, чем больше будет оценивающих.
ППКС. Оценка отгадавших - самая лучшая и самая объективная. Другой вопрос, что отгадавших, как правило, меньше 20. Поэтому средняя, с точки зрения статистики, менее достоверна, чем средняя по всем оценившим, в том числе тем, кто не то чтобы не участвовал в отгадывании, а вообще не стал читать ответ. Потому что "длинно", или просто хочет слить данетку, чтобы не слететь в рейтинге.

Возможно, здесь стоит просто не переводить данетку в отгаданные, пока не будет много отгадавших - по идее, это должно увеличить шансы получить хорошую среднюю.
armoD писал(а): На этом этапе никакие оценки не отбрасываются!
Для оценщиков, которые не принимали участие в разгадывании, просто формируетя другая шкала оценки. Фактически и здесь не отбрасываются оценки, просто оценивание происходит в более узком диапазоне оценок. Ведь и при действующей системе оценок находятся желающие поставить оценки и -10, и +20. И ведь наверняка это и есть искренняя субъективная оценка, но система оценивания "отбрасывает" такие оценки - играть надо по правилам. А в предлагаемой мной системе просто две разные шкалы для разных категорий игроков - все честно! Хочешь оценивать по полной шкале - разгадай данетку. Не хочешь разгадывать - смирись с ограничением.
О как! Я сразу не понял, видимо. Идея ArmoD-а различать каким-то образом оценки, проставленные отгадавшими, мне нравится (кажется, подобное предложение здесь впервые). Как это реализовать? один из путей предложил ArmoD.
Мне ближе вариант, при котором вес оценок (влияние на среднюю), проставленных неотгадавшими, меньше, чем вес оценок, проставленных отгадавшими.

ИМХО... 8)
Последний раз редактировалось maksim82 01 дек 2006, 16:07, всего редактировалось 1 раз.

Аватара пользователя
dP
Графоман со стажем
Графоман со стажем
Сообщения: 720
Зарегистрирован: 12 апр 2005, 18:26
Пол: Мужской
Откуда: Санкт-Петербург
Контактная информация:

Re: Еще одно предложение по оцениванию данеток

Сообщение dP »

maksim82 писал(а): (кажется, подобное предложение здесь впервые).
Где-то уже было. Чего здесь только не предлагали...
-эммм. а зачем winapi с MFC мешать?
-чтобы крышу быстрее сносило

armoD
Читатель
Читатель
Сообщения: 13
Зарегистрирован: 18 сен 2006, 13:19
Пол: Мужской
Откуда: Калининград

Сообщение armoD »

maksim82 писал(а):Мне ближе вариант, при котором вес оценок (влияние на среднюю), проставленных неотгадавшими, меньше, чем вес оценок, проставленных отгадавшими.
Согласен, Максим! С точки зрения реализации вариант с весом оценок требует меньше трудозатрат, чем вариант с ограниченной шкалой. А суть сохраняется. Осталось подобрать весовой коэффициент :)
Грубо - 0,5. Но лучше переменный, в зависимости от разброса оценок экспертов.
dP писал(а):Где-то уже было. Чего здесь только не предлагали...
Да я уверен, что предложений было море! :)
И так же уверен, что Федор ничего менять не станет, пока сам не захочет - это привелегия криэйтера. ;)

Аватара пользователя
basil0
Популярный автор
Популярный автор
Сообщения: 2007
Зарегистрирован: 10 ноя 2006, 01:17
Пол: Мужской
Откуда: Москва
Контактная информация:

Сообщение basil0 »

Судя по моим наблюдениям оценка отгадавших необъективна, выражаясь статистически смещена. Чаще всего в сторону увеличения, реже в сторону уменьшения. Введение двухступечатой системы с систематической ошибкой экспертов, в целом внесет систематическую ошибку и в итоговую оценку, т.е. увеличится вляние администрирования и эйфории выигравших на среднюю. Поскольку априори считается, что оценка с систематической ошибкой менее точная, чем только со сслучайной, то предлагаемая система будет менее точной.
Мне кажется что проще всего дать паузу между переводом в отгаданные и оценкой примерно в 10 суток. Она может снять влияние эмоций на оценку.
С уважением, Василий.
А кто сказал, что я прав?

amigoz
Графоман со стажем
Графоман со стажем
Сообщения: 564
Зарегистрирован: 23 июн 2006, 18:58
Пол: Мужской

Сообщение amigoz »

Или дать возможность переоценивания через некий промежуток времени.
буэнос диаз, голодранцы!(с)

Ответить

Вернуться в «Предложения и пожелания»