Еще одно предложение по оцениванию данеток
Модераторы: Азарапетыч, Администрация
-
- Читатель
- Сообщения: 13
- Зарегистрирован: 18 сен 2006, 13:19
- Пол: Мужской
- Откуда: Калининград
Еще одно предложение по оцениванию данеток
Друзья!
Я понимаю, что тема многократно поднималась, но я позволю себе вынести на обсуждение еще один вариант. Тем более, что чего-то похожего на мое предложение я не встретил.
Основная идея - разумно ограничить произвольное оценивание, как в сторону занижения, так и завышения.
Итак, вот вполне реализуемый вариант ограничения произвола оценивающих.
1. Запретить перевод в отгаданные пока данетка активная.
2. Для случаев, когда автор хочет "убить" неудачную данетку, не обращаясь при этом к админам сайта, добавить на странице администрирования кнопку "Удалить данетку". В этом случае данетка удаляется из базы.
3. Пока данетку не оценят 6-10 (точную цифру можно обсудить) отгадавших ее игроков, запретить возможность ее оценивания остальными игроками.
4. В случае, если данетка в течении 5-10 дней (обсудить) после перевода в отгаданные не будет оценена нужным количеством игроков, исключить ее из рейтинга, как не вызвавшую интереса.
5. Если данетка получила право рейтингования, ее могут оценивать все. При этом, если оценивающий игрок ставит оцеку на 2,5 - 3,5 балла (обсудить) выше или ниже ее текущего рейтинга, то такая оценка не принимается к рассмотрению, а оценивающий игрок предупреждается о необъективности. Возможно, стоит запретить ему повторное оценивание этой данетки.
Конкретные значения пороговых величин предлагаемой системы оценивания можно обсудить. А можно провести стат. анализ базы данных на предмет оценки средних характеристик. Но это достаточно сложно. Лично я за экспертную оценку старожилами и админами сайта.
В качестве послесловия.
Мне приходилось заниматься программированием психологических тестов, опросов и в том числе методов субъективного оценивания. Предлагаемый мной способ оценивания был использована в одной из психолого-диагностических автоматизированных систем.
Я понимаю, что тема многократно поднималась, но я позволю себе вынести на обсуждение еще один вариант. Тем более, что чего-то похожего на мое предложение я не встретил.
Основная идея - разумно ограничить произвольное оценивание, как в сторону занижения, так и завышения.
Итак, вот вполне реализуемый вариант ограничения произвола оценивающих.
1. Запретить перевод в отгаданные пока данетка активная.
2. Для случаев, когда автор хочет "убить" неудачную данетку, не обращаясь при этом к админам сайта, добавить на странице администрирования кнопку "Удалить данетку". В этом случае данетка удаляется из базы.
3. Пока данетку не оценят 6-10 (точную цифру можно обсудить) отгадавших ее игроков, запретить возможность ее оценивания остальными игроками.
4. В случае, если данетка в течении 5-10 дней (обсудить) после перевода в отгаданные не будет оценена нужным количеством игроков, исключить ее из рейтинга, как не вызвавшую интереса.
5. Если данетка получила право рейтингования, ее могут оценивать все. При этом, если оценивающий игрок ставит оцеку на 2,5 - 3,5 балла (обсудить) выше или ниже ее текущего рейтинга, то такая оценка не принимается к рассмотрению, а оценивающий игрок предупреждается о необъективности. Возможно, стоит запретить ему повторное оценивание этой данетки.
Конкретные значения пороговых величин предлагаемой системы оценивания можно обсудить. А можно провести стат. анализ базы данных на предмет оценки средних характеристик. Но это достаточно сложно. Лично я за экспертную оценку старожилами и админами сайта.
В качестве послесловия.
Мне приходилось заниматься программированием психологических тестов, опросов и в том числе методов субъективного оценивания. Предлагаемый мной способ оценивания был использована в одной из психолого-диагностических автоматизированных систем.
-
- Популярный автор
- Сообщения: 1813
- Зарегистрирован: 28 июн 2005, 17:28
- Пол: Мужской
- Откуда: Москва
Re: Еще одно предложение по оцениванию данеток
Против категорически, несмотря на опыт инициатора опроса в составлении тестов и тд. Стоит ли объяснять почему?armoD писал(а):
При этом, если оценивающий игрок ставит оцеку на 2,5 - 3,5 балла (обсудить) выше или ниже ее текущего рейтинга, то такая оценка не принимается к рассмотрению, а оценивающий игрок предупреждается о необъективности. Возможно, стоит запретить ему повторное оценивание этой данетки.
-
- Акула пера
- Сообщения: 5717
- Зарегистрирован: 06 май 2005, 15:11
- Пол: Мужской
- Откуда: Раменское, Мос.обл.
Re: Еще одно предложение по оцениванию данеток
Вопросы есть.
1. Что имеется в виду в этом пункте?
3. Не берусь судить на 100%, что это так, но все же. Есть определенная категория отгадчиков, которые принципиально не оценивают данетки. И вот - если данную данетку отгадывают только такие, то она (независимо от качества) не попадет в рейтинг.
4. Полагаю, что такая система вводится для исключения "необъективности" оценщиков, которые не отгадывали данетку. А как быть с необъективностью оценщиков, отгадавших данетку? Допустим, данетка - хорошая, но администратор (не обязательно он и есть автор!) напортачил, и обозлил отгадчиков. Они поставили дружно "двойку". Оценщики, не отгадывавшие данетки, смотрят только на условие и ответ. Они ставят, допустим, 6 баллов (в среднем). Тогда всех (или почти всех - кто-то может поставить и 4) обвинят в необъективности, и хорошая, на самом деле, данетка окажется "ниже плинтуса".
5. Как быть с архивом из почти 3000 данеток?
1. Что имеется в виду в этом пункте?
2. Если данетку отгадали, допустим, только 3 человека. Но данетка и в самом деле качественная (такое бывало, и не раз). Как тогда быть? Вся "стройная система" тогда рушится.armoD писал(а):1. Запретить перевод в отгаданные пока данетка активная.
3. Не берусь судить на 100%, что это так, но все же. Есть определенная категория отгадчиков, которые принципиально не оценивают данетки. И вот - если данную данетку отгадывают только такие, то она (независимо от качества) не попадет в рейтинг.
4. Полагаю, что такая система вводится для исключения "необъективности" оценщиков, которые не отгадывали данетку. А как быть с необъективностью оценщиков, отгадавших данетку? Допустим, данетка - хорошая, но администратор (не обязательно он и есть автор!) напортачил, и обозлил отгадчиков. Они поставили дружно "двойку". Оценщики, не отгадывавшие данетки, смотрят только на условие и ответ. Они ставят, допустим, 6 баллов (в среднем). Тогда всех (или почти всех - кто-то может поставить и 4) обвинят в необъективности, и хорошая, на самом деле, данетка окажется "ниже плинтуса".
5. Как быть с архивом из почти 3000 данеток?
-
- Читатель
- Сообщения: 13
- Зарегистрирован: 18 сен 2006, 13:19
- Пол: Мужской
- Откуда: Калининград
Re: Еще одно предложение по оцениванию данеток
Всеж таки стоит. Как вести диалог, если не знаешь аргументы оппонента?maksim82 писал(а): Против категорически, несмотря на опыт инициатора опроса в составлении тестов и тд. Стоит ли объяснять почему?
Имеется ввиду предотвращение ситуации, когда автор переводит данетку в отгаданные после первой же оценки. Это надо для того, чтобы искусственно не завышался исходный рейтинг данетки. Допустим, первый же отгадавший поставил 10, хотя данетка средненькая. Автор перевел данетку в отгаданные и данетка сразу попадает на верх топа.Dendr писал(а): 1. Что имеется в виду в этом пункте?
Вообще, идея предлагаемой системы - двухэтапное оценивание данетки.
На первом этапе производится т.н. экспертное оценивание. В данном случае в качестве экспертов выступают игроки отгадавшие данетку. Чем больше будет экспертных оценок, тем объективнее будет исходный рейтинг.
На втором этапе к оценке допускаются все желающие, но оценка производится в диапазоне X±a (X - исходный рейтинг, а - предельное отклонение от исходного рейтинга. При исходной 10-балльной шкале а обычно выбирают 2 или 3). Пусть исходный рейтинг был 6. Тогда шкала оценки для тех, кто не отгадывал данетку, будет 4-8 или 3-9. Т.е. нельзя будет злонамеренно "топить" данетку, выставляя 1 (как это происходит сейчас).
Если действительно качественную данетку отгадали только 3 человека, то в этом целиком и полностью "заслуга" администратора данетки, который преждевременно перевел ее в отгаданные. Ну никогда я не поверю, что в игре, в которой участвет 600 человек, интересную, хотя и сложную, данетку не сможет разгадать больше 3 человек. Тут только вопрос времени - сколько ждать? Я думаю, дней 6-8 после первого отгадавшего будет достаточно, чтобы набрать минимум 10-15 оценок. Ну а не наберется нужного количества - значит данетка не вызвала интереса и в рейтинге ей делать нечего.Dendr писал(а):2. Если данетку отгадали, допустим, только 3 человека. Но данетка и в самом деле качественная (такое бывало, и не раз). Как тогда быть? Вся "стройная система" тогда рушится.
Крайне маловероятно. По моим наблюдениям, если данетка дожила до 15-20 отгадавших, она имеет на момент перевода в отгаданные минимум 10 оценок.Dendr писал(а):3. Не берусь судить на 100%, что это так, но все же. Есть определенная категория отгадчиков, которые принципиально не оценивают данетки. И вот - если данную данетку отгадывают только такие, то она (независимо от качества) не попадет в рейтинг.
Это самый существенный момент! Система экспертных оценок изначально предполагает непредвзятость экспертов. Но игра есть игра - все может быть. Я, например, когда попадаю на раздражающее администрирование, либо прекращаю разгадывание, либо не ставлю оценку сразу после разгадывания, а жду недельку.Dendr писал(а): 4. Полагаю, что такая система вводится для исключения "необъективности" оценщиков, которые не отгадывали данетку. А как быть с необъективностью оценщиков, отгадавших данетку? Допустим, данетка - хорошая, но администратор (не обязательно он и есть автор!) напортачил, и обозлил отгадчиков. Они поставили дружно "двойку". Оценщики, не отгадывавшие данетки, смотрят только на условие и ответ. Они ставят, допустим, 6 баллов (в среднем). Тогда всех (или почти всех - кто-то может поставить и 4) обвинят в необъективности, и хорошая, на самом деле, данетка окажется "ниже плинтуса".
По идее, для разгадавших данетку, неплохо было бы предусмотреть возможность выставления двух оценок: за администрирование и за качество данетки. И в рейтинг брать вторую оценку, а пар выпускать - в первой Можно было бы организовать еще и топ администраторов.
Ну а страховкой от эмоциональных оценщиков служит опять же количество полученных на этапе разгадывания оценок.
Кстати, опытные данетчики давно уже нашли способ борьбы со злостными "топильщиками" данеток. Они просто достаточно долго держат данетку в полуразгаданных, набирая большое количество нормальных оценок уже на этапе разгадывания. Утопить такую данетку гораздо сложнее. Последний пример такого рода - данетка "Выпивший" http://www.danetka.ru/cgi-bin/resolved.pl?id=1151745757
Хотя, конечно, 3 месяца разгадывания всеж таки перебор
Так что если система оценивания не будет изменена (а что-то мне подсказывает, что так и будет) всем авторам, которым хочется получить более-менее объективную оценку данетки советую использовать этот способ.
Эх, была бы у меня база, я б с ней такого наделал!Dendr писал(а): 5. Как быть с архивом из почти 3000 данеток?
Тут два варианта:
1. Архив не трогать. Новые правила применять только к новым данеткам. Топ всех времен преобразовать в зал славы. Изменение состава зала славы доверить отцам-основателям сайта и лучшим авторам. Начать новый топ всех времен. Кстати, весьма простимулирует авторов - в теперешний главный топ попасть не реально.
2. Пересчитать весь архив по новым правилам. Задача хоть и реальная, но достаточно трудоемкая. Вряд ли Федор на такое подпишется
-
- Графоман со стажем
- Сообщения: 720
- Зарегистрирован: 12 апр 2005, 18:26
- Пол: Мужской
- Откуда: Санкт-Петербург
-
- Популярный автор
- Сообщения: 1813
- Зарегистрирован: 28 июн 2005, 17:28
- Пол: Мужской
- Откуда: Москва
Re: Еще одно предложение по оцениванию данеток
armoD, ИМХО никакие оценки нельзя отсекать. Ты никогда не узнаешь причины, по которым оценка сильно отличается от средней: возможно, это манипулирование и война за рейтинги, а возможно это и есть та самая искренняя субъективная оценка, ради выяснения которой и нужна опция "оценить".armoD писал(а):Всеж таки стоит. Как вести диалог, если не знаешь аргументы оппонента?maksim82 писал(а): Против категорически, несмотря на опыт инициатора опроса в составлении тестов и тд. Стоит ли объяснять почему?
Возможно стоит рассчитывать среднюю оценку, давая индивидуальным оценкам разные веса: "выбросам" давать меньший вес. Но, опять же, это не совсем честно.
-
- Читатель
- Сообщения: 13
- Зарегистрирован: 18 сен 2006, 13:19
- Пол: Мужской
- Откуда: Калининград
Re: Еще одно предложение по оцениванию данеток
В одноуровневой системе оценивания, как сейчас, согласен - отсечение не всегда будет создавать объективную картину. Хотя и применяется довольно часто.maksim82 писал(а):
armoD, ИМХО никакие оценки нельзя отсекать. Ты никогда не узнаешь причины, по которым оценка сильно отличается от средней: возможно, это манипулирование и война за рейтинги, а возможно это и есть та самая искренняя субъективная оценка, ради выяснения которой и нужна опция "оценить".
Возможно стоит рассчитывать среднюю оценку, давая индивидуальным оценкам разные веса: "выбросам" давать меньший вес. Но, опять же, это не совсем честно.
Я же предлагаю двухуровневую систему оценивания. На первом, экспертном уровне, когда данетку оценивают только отгадавшие ее игроки (эксперты) формируется достаточно объективная оценка. Тем более объективная, чем больше будет оценивающих. На этом этапе никакие оценки не отбрасываются!
Для оценщиков, которые не принимали участие в разгадывании, просто формируетя другая шкала оценки. Фактически и здесь не отбрасываются оценки, просто оценивание происходит в более узком диапазоне оценок. Ведь и при действующей системе оценок находятся желающие поставить оценки и -10, и +20. И ведь наверняка это и есть искренняя субъективная оценка, но система оценивания "отбрасывает" такие оценки - играть надо по правилам. А в предлагаемой мной системе просто две разные шкалы для разных категорий игроков - все честно! Хочешь оценивать по полной шкале - разгадай данетку. Не хочешь разгадывать - смирись с ограничением.
-
- Популярный автор
- Сообщения: 1813
- Зарегистрирован: 28 июн 2005, 17:28
- Пол: Мужской
- Откуда: Москва
Re: Еще одно предложение по оцениванию данеток
ППКС. Оценка отгадавших - самая лучшая и самая объективная. Другой вопрос, что отгадавших, как правило, меньше 20. Поэтому средняя, с точки зрения статистики, менее достоверна, чем средняя по всем оценившим, в том числе тем, кто не то чтобы не участвовал в отгадывании, а вообще не стал читать ответ. Потому что "длинно", или просто хочет слить данетку, чтобы не слететь в рейтинге.armoD писал(а): Я же предлагаю двухуровневую систему оценивания. На первом, экспертном уровне, когда данетку оценивают только отгадавшие ее игроки (эксперты) формируется достаточно объективная оценка. Тем более объективная, чем больше будет оценивающих.
Возможно, здесь стоит просто не переводить данетку в отгаданные, пока не будет много отгадавших - по идее, это должно увеличить шансы получить хорошую среднюю.
О как! Я сразу не понял, видимо. Идея ArmoD-а различать каким-то образом оценки, проставленные отгадавшими, мне нравится (кажется, подобное предложение здесь впервые). Как это реализовать? один из путей предложил ArmoD.armoD писал(а): На этом этапе никакие оценки не отбрасываются!
Для оценщиков, которые не принимали участие в разгадывании, просто формируетя другая шкала оценки. Фактически и здесь не отбрасываются оценки, просто оценивание происходит в более узком диапазоне оценок. Ведь и при действующей системе оценок находятся желающие поставить оценки и -10, и +20. И ведь наверняка это и есть искренняя субъективная оценка, но система оценивания "отбрасывает" такие оценки - играть надо по правилам. А в предлагаемой мной системе просто две разные шкалы для разных категорий игроков - все честно! Хочешь оценивать по полной шкале - разгадай данетку. Не хочешь разгадывать - смирись с ограничением.
Мне ближе вариант, при котором вес оценок (влияние на среднюю), проставленных неотгадавшими, меньше, чем вес оценок, проставленных отгадавшими.
ИМХО...
Последний раз редактировалось maksim82 01 дек 2006, 16:07, всего редактировалось 1 раз.
-
- Графоман со стажем
- Сообщения: 720
- Зарегистрирован: 12 апр 2005, 18:26
- Пол: Мужской
- Откуда: Санкт-Петербург
Re: Еще одно предложение по оцениванию данеток
Где-то уже было. Чего здесь только не предлагали...maksim82 писал(а): (кажется, подобное предложение здесь впервые).
-эммм. а зачем winapi с MFC мешать?
-чтобы крышу быстрее сносило
-чтобы крышу быстрее сносило
-
- Читатель
- Сообщения: 13
- Зарегистрирован: 18 сен 2006, 13:19
- Пол: Мужской
- Откуда: Калининград
Согласен, Максим! С точки зрения реализации вариант с весом оценок требует меньше трудозатрат, чем вариант с ограниченной шкалой. А суть сохраняется. Осталось подобрать весовой коэффициентmaksim82 писал(а):Мне ближе вариант, при котором вес оценок (влияние на среднюю), проставленных неотгадавшими, меньше, чем вес оценок, проставленных отгадавшими.
Грубо - 0,5. Но лучше переменный, в зависимости от разброса оценок экспертов.
Да я уверен, что предложений было море!dP писал(а):Где-то уже было. Чего здесь только не предлагали...
И так же уверен, что Федор ничего менять не станет, пока сам не захочет - это привелегия криэйтера.
-
- Популярный автор
- Сообщения: 2007
- Зарегистрирован: 10 ноя 2006, 01:17
- Пол: Мужской
- Откуда: Москва
Судя по моим наблюдениям оценка отгадавших необъективна, выражаясь статистически смещена. Чаще всего в сторону увеличения, реже в сторону уменьшения. Введение двухступечатой системы с систематической ошибкой экспертов, в целом внесет систематическую ошибку и в итоговую оценку, т.е. увеличится вляние администрирования и эйфории выигравших на среднюю. Поскольку априори считается, что оценка с систематической ошибкой менее точная, чем только со сслучайной, то предлагаемая система будет менее точной.
Мне кажется что проще всего дать паузу между переводом в отгаданные и оценкой примерно в 10 суток. Она может снять влияние эмоций на оценку.
Мне кажется что проще всего дать паузу между переводом в отгаданные и оценкой примерно в 10 суток. Она может снять влияние эмоций на оценку.
С уважением, Василий.
А кто сказал, что я прав?
А кто сказал, что я прав?
-
- Графоман со стажем
- Сообщения: 564
- Зарегистрирован: 23 июн 2006, 18:58
- Пол: Мужской