К вопросу о системах оценки

Прочие околоЧГКшные темы

Модераторы: Азарапетыч, Администрация

Аватара пользователя
basil0
Популярный автор
Популярный автор
Сообщения: 2007
Зарегистрирован: 10 ноя 2006, 01:17
Пол: Мужской
Откуда: Москва
Контактная информация:

К вопросу о системах оценки

Сообщение basil0 »

Разработка системы оценок турнира самообслуживания (команды – авторы вопросов) представляет собой довольно сложную задачу оптимизации по двум группам параметров, ни один из которых еще не очевиден. Поэтому сначала есть смысл в оценке параметров оптимизации.

Предварительное замечание. Предлагаемое голосование никоим образом не влияет на результаты турнира.

Перед последним турниром после него (а может и раньше тоже) был высказан ряд идей о новой системе подсчета результатов. Основной недостаток линейной системы (один вопрос - одно очко) – нет учета сложности вопроса. Прозвучало два принципиально разных подхода к оценке вопроса:
1) объективный (типа: В=N-m, при m>0 и B=0 при m=0 , где N - количество команд, m – количество правильных ответов, В – балл вопроса. Или система Semak-а) ;
2) субъективный – оценка вопросов игроками после турнира.
Оба подхода отражают основные требования к вопросу ЧГК – трудность (спортивность) и красоту. Однако сразу без объективной проверки внедрять оба подхода немножко не разумно.
Во-первых, есть вероятность, что субъективная (за красоту) и объективная (за трудность) оценки существенно коррелируют. Во-вторых, в любом голосовании есть проблема кворума. Если на это экспериментальное голосование явится мало игроков, то вряд ли в дальнейшем положение изменится.
Поэтому предлагаемый эксперимент с голосованием решает следующие задачи:
1. Определение корреляции объективной и субъективной оценок вопроса.
2. Оценка трудоемкости проведения голосования.
3. Оценка явки на голосование.
4.А если очень повезет, то может обнаружиться и формула красоты вопроса (есть у меня подозрение, что система Semak-а оценивает именно красоту вопроса, а не его трудность).
После соответствующей статистической обработки данных появится ясность, окупаются ли усилия по голосованию полезной информацией. И тогда вопрос о нужности голосования в следующих турнирах можно будет решать не умозрительно, а на основании фактов.

Методика.
Согласно всем (известным мне) разработкам социологии голосование должно быть анонимным и с механизмом защиты от повторного участия. Самое простое решение это 15 тем-опросов, как в разделе «обсуждение вопросов». Если администрация форума или модераторы турнира сочтут полезным сделать внутри «Золотого кольца» отдельный форум «Голосование» тогда темы размещу там. Если нет то в «зрительской ложе». После завершения голосования темы-опросы можно будет потереть.
По времени. Судя по оценкам данеток, эйфория и прочий адреналин игроков должен улетучиться, дабы оценки были объективнее. Поэтому такого типа голосования надо проводить не раньше чем через неделю турнира. Длиться это экспериментальное голосование будет 7 дней.
Влад абсолютно верно заметил, что турнирные вопросы отличаются от обычных. Для того чтобы игроки это не забывали данное голосование – это расстановка вопросов в порядке убывания. Лучший вопрос ставится на 1 место, не такой отличный на 2-ое место и т.д.
Для голосования весьма рекомендуется сначала на бумажке или отдельном экране расставить места вопросам
== Все для горожан (Трамваи) = … место
== По Петербургу (Памятник) = … место
== Не все то золото, что блестит (Великий Устюг) = … место
== Новый взгляд на старое (Дамаск) = … место
== За нашу победу (КАННЫ) = … место
== Девушкам из высшего общества (Догвиль) = … место
== 90 секунд (Скачки) = … место
== Титулованный город (Себастос) = … место
== Танец (Grim Fandango) = … место
== Кстати о птичках (Мадагаскар) = … место
== Цветной сон (Шойгу) = … место
== Удивительный городок (Лимон) = … место
== По долинам и по взгорьям (Телави - Тель-Авив) = … место
== Дядя самых честных правил (Содом и Гоморра) = … место
== Суперблиц (в целом) = … место

Предварительный срок начала голосования 24.4.07
С уважением, Василий.
А кто сказал, что я прав?

Аватара пользователя
Semak
Акула пера
Акула пера
Сообщения: 7894
Зарегистрирован: 13 май 2004, 18:30
Пол: Мужской
Откуда: Москва
Контактная информация:

Сообщение Semak »

Идея-то хороша, можно и поиграть с информацией.
Только пара замечаний.

- не стоит приписывать мне авторство системы B=(N-m), эту идею мы утащили у ребят с гамблера, плюс я краем уха слышал, что нечто похожее есть в реальном спортивном ЧГК
- помимо оценок, которые получает команда-игрок за взятые вопросы, есть еще и вторая составляющая - какие штрафы или премии за вопрос получает команда-автор
- как определить "идеальность вопроса" (от этого зависят премии или штрафы команде-автору)?
а) мне казалось, что идеальный вопрос - это тот, на который ответила ровно половина команд
б) господин MURLO озвучил несколько иной критерий: идеальный вопрос - этот такой, на котороый ответила только одна команда
Каждой хорошенькой девушке - по плохому танцору!
Хотите научиться играть в бридж? Тогда вам СЮДА

Аватара пользователя
exРепушкин
TheMagus
TheMagus
Сообщения: 9027
Зарегистрирован: 26 сен 2005, 11:31
Пол: Женский
Откуда: Задворки Цивилизации

Сообщение exРепушкин »

По моему мнению, вы пытаетесь шоколад с квашеной капустой кушать из одной тарелки.
Конкурс вопросов и авторов - отдельный конкурс.

Было бы здорово, если после турнира за тройку лучших вопросов авторским командам по очку прибавить.

Да только у нас голосовать будут монтекки за монтеков;), а капулетти за своих опять же ж .
слова любви и благодарности!

Аватара пользователя
marta
мартовская кошка
мартовская кошка
Сообщения: 12757
Зарегистрирован: 18 окт 2005, 22:43
Откуда: Петербург

Сообщение marta »

Semak писал(а):б) господин MURLO озвучил несколько иной критерий: идеальный вопрос - этот такой, на котороый ответила только одна команда
соглашусь
одна или две

Аватара пользователя
exРепушкин
TheMagus
TheMagus
Сообщения: 9027
Зарегистрирован: 26 сен 2005, 11:31
Пол: Женский
Откуда: Задворки Цивилизации

Сообщение exРепушкин »

marta писал(а):
Semak писал(а):б) господин MURLO озвучил несколько иной критерий: идеальный вопрос - этот такой, на котороый ответила только одна команда
соглашусь
одна или две
И к чему бы это мне забаненные роботы вспомнились, взятые аффтарами только...
слова любви и благодарности!

Аватара пользователя
влад
Популярный автор
Популярный автор
Сообщения: 4917
Зарегистрирован: 29 мар 2006, 18:38
Пол: Мужской
Откуда: Москва
Контактная информация:

Сообщение влад »

marta писал(а):
Semak писал(а):б) господин MURLO озвучил несколько иной критерий: идеальный вопрос - этот такой, на котороый ответила только одна команда
соглашусь
одна или две

Полностью не соглашусь, это верно если автор не владеет информацией об отдельных игроках и их знаниях, иначе он может давать наводки, индивидуальные для конкретного игрока, и вообще к сожалению, количество команд и различия в знаниях и в их уровне отдельных игроков и команд в целом пока не позволяют вводить ИМХО чисто статистический подход.
Изображение

Аватара пользователя
Semak
Акула пера
Акула пера
Сообщения: 7894
Зарегистрирован: 13 май 2004, 18:30
Пол: Мужской
Откуда: Москва
Контактная информация:

Сообщение Semak »

Тогда по этой терминологии супер-пупер вопросы последнего турнира - это Канны и Догвиль. Так, получается? :)
Каждой хорошенькой девушке - по плохому танцору!
Хотите научиться играть в бридж? Тогда вам СЮДА

Аватара пользователя
Руся
Популярный автор
Популярный автор
Сообщения: 3598
Зарегистрирован: 27 фев 2006, 19:24
Пол: Женский
Откуда: Москва
Контактная информация:

Сообщение Руся »

Semak писал(а):Тогда по этой терминологии супер-пупер вопросы последнего турнира - это Канны и Догвиль. Так, получается? :)
Видимо да :wink:

Аватара пользователя
marta
мартовская кошка
мартовская кошка
Сообщения: 12757
Зарегистрирован: 18 окт 2005, 22:43
Откуда: Петербург

Сообщение marta »

Semak писал(а):Тогда по этой терминологии супер-пупер вопросы последнего турнира - это Канны и Догвиль. Так, получается? :)
нет, великий устюг например
кстати про догвиль тоже дурного слова не скажу
или формула с чугунка

Аватара пользователя
marta
мартовская кошка
мартовская кошка
Сообщения: 12757
Зарегистрирован: 18 окт 2005, 22:43
Откуда: Петербург

Сообщение marta »

exРепушкин писал(а):И к чему бы это мне забаненные роботы вспомнились, взятые аффтарами только...
а к чему бы?

Аватара пользователя
Павел Мальдинин
Графоман со стажем
Графоман со стажем
Сообщения: 543
Зарегистрирован: 18 янв 2007, 12:15
Пол: Мужской
Откуда: Оренбург
Контактная информация:

Сообщение Павел Мальдинин »

Руся писал(а):
Semak писал(а):Тогда по этой терминологии супер-пупер вопросы последнего турнира - это Канны и Догвиль. Так, получается? :)
Видимо да :wink:
+1
Идеальные с точки зрения формата турнира вопросы. Они лучшие и это понятно без голосования. Предлагаю голосовать за самый красивый вопрос.
Forza Milan - Viva Italia!

Аватара пользователя
exРепушкин
TheMagus
TheMagus
Сообщения: 9027
Зарегистрирован: 26 сен 2005, 11:31
Пол: Женский
Откуда: Задворки Цивилизации

Сообщение exРепушкин »

Павел Мальдинин писал(а):
Руся писал(а):
Semak писал(а):Тогда по этой терминологии супер-пупер вопросы последнего турнира - это Канны и Догвиль. Так, получается? :)
Видимо да :wink:
+1
Идеальные с точки зрения формата турнира вопросы. Они лучшие и это понятно без голосования.
Будучи автором вопроса про Биг-Бен с Чугунковского турнира, взятого одной командой, выскажу точку зрения против себя даже:
вопрос, взятый одной командой - вопрос недоделанный.

А тониных роботов вспомнила, потому что сняты были ведь вовсе не по политическим мотивам, а объективно, за недоработки? Я ведь не ошибаюсь:)?

Вот два плохих вопроса, по вашей системе претендующие на лучшие.
слова любви и благодарности!

Аватара пользователя
exРепушкин
TheMagus
TheMagus
Сообщения: 9027
Зарегистрирован: 26 сен 2005, 11:31
Пол: Женский
Откуда: Задворки Цивилизации

Сообщение exРепушкин »

Мое мнение, что отличным может быть даже всеми взятый вопрос.
А лучшие вопросы для турнира те, что две-три команды НЕ взяли.
слова любви и благодарности!

Аватара пользователя
Филь
Популярный автор
Популярный автор
Сообщения: 3179
Зарегистрирован: 18 янв 2005, 17:09
Пол: Женский
Откуда: Москва
Контактная информация:

Re: К вопросу о системах оценки

Сообщение Филь »

Вот чего не поняла про предложенный метод голосования - как командам со своими-то вопросами поступать?
Перепады настроения составляют важную часть женского шарма.

Аватара пользователя
Алг
Популярный автор
Популярный автор
Сообщения: 1085
Зарегистрирован: 04 авг 2006, 21:09
Пол: Женский
Откуда: Израиль, Холон

Сообщение Алг »

exРепушкин писал(а):Мое мнение, что отличным может быть даже всеми взятый вопрос.
А лучшие вопросы для турнира те, что две-три команды НЕ взяли.
моё мнение почти такое же. Отличным может быть вопрос взятый всеми и вопрос, не взятый никем. Гармонию вопроса не всегда возможно проверить алгеброй.

Ответить

Вернуться в «Обсуждения»