К вопросу о системах оценки
Модераторы: Азарапетыч, Администрация
- basil0
- Популярный автор
- Сообщения: 2007
- Зарегистрирован: 10 ноя 2006, 01:17
- Пол: Мужской
- Откуда: Москва
- Контактная информация:
К вопросу о системах оценки
Разработка системы оценок турнира самообслуживания (команды – авторы вопросов) представляет собой довольно сложную задачу оптимизации по двум группам параметров, ни один из которых еще не очевиден. Поэтому сначала есть смысл в оценке параметров оптимизации.
Предварительное замечание. Предлагаемое голосование никоим образом не влияет на результаты турнира.
Перед последним турниром после него (а может и раньше тоже) был высказан ряд идей о новой системе подсчета результатов. Основной недостаток линейной системы (один вопрос - одно очко) – нет учета сложности вопроса. Прозвучало два принципиально разных подхода к оценке вопроса:
1) объективный (типа: В=N-m, при m>0 и B=0 при m=0 , где N - количество команд, m – количество правильных ответов, В – балл вопроса. Или система Semak-а) ;
2) субъективный – оценка вопросов игроками после турнира.
Оба подхода отражают основные требования к вопросу ЧГК – трудность (спортивность) и красоту. Однако сразу без объективной проверки внедрять оба подхода немножко не разумно.
Во-первых, есть вероятность, что субъективная (за красоту) и объективная (за трудность) оценки существенно коррелируют. Во-вторых, в любом голосовании есть проблема кворума. Если на это экспериментальное голосование явится мало игроков, то вряд ли в дальнейшем положение изменится.
Поэтому предлагаемый эксперимент с голосованием решает следующие задачи:
1. Определение корреляции объективной и субъективной оценок вопроса.
2. Оценка трудоемкости проведения голосования.
3. Оценка явки на голосование.
4.А если очень повезет, то может обнаружиться и формула красоты вопроса (есть у меня подозрение, что система Semak-а оценивает именно красоту вопроса, а не его трудность).
После соответствующей статистической обработки данных появится ясность, окупаются ли усилия по голосованию полезной информацией. И тогда вопрос о нужности голосования в следующих турнирах можно будет решать не умозрительно, а на основании фактов.
Методика.
Согласно всем (известным мне) разработкам социологии голосование должно быть анонимным и с механизмом защиты от повторного участия. Самое простое решение это 15 тем-опросов, как в разделе «обсуждение вопросов». Если администрация форума или модераторы турнира сочтут полезным сделать внутри «Золотого кольца» отдельный форум «Голосование» тогда темы размещу там. Если нет то в «зрительской ложе». После завершения голосования темы-опросы можно будет потереть.
По времени. Судя по оценкам данеток, эйфория и прочий адреналин игроков должен улетучиться, дабы оценки были объективнее. Поэтому такого типа голосования надо проводить не раньше чем через неделю турнира. Длиться это экспериментальное голосование будет 7 дней.
Влад абсолютно верно заметил, что турнирные вопросы отличаются от обычных. Для того чтобы игроки это не забывали данное голосование – это расстановка вопросов в порядке убывания. Лучший вопрос ставится на 1 место, не такой отличный на 2-ое место и т.д.
Для голосования весьма рекомендуется сначала на бумажке или отдельном экране расставить места вопросам
== Все для горожан (Трамваи) = … место
== По Петербургу (Памятник) = … место
== Не все то золото, что блестит (Великий Устюг) = … место
== Новый взгляд на старое (Дамаск) = … место
== За нашу победу (КАННЫ) = … место
== Девушкам из высшего общества (Догвиль) = … место
== 90 секунд (Скачки) = … место
== Титулованный город (Себастос) = … место
== Танец (Grim Fandango) = … место
== Кстати о птичках (Мадагаскар) = … место
== Цветной сон (Шойгу) = … место
== Удивительный городок (Лимон) = … место
== По долинам и по взгорьям (Телави - Тель-Авив) = … место
== Дядя самых честных правил (Содом и Гоморра) = … место
== Суперблиц (в целом) = … место
Предварительный срок начала голосования 24.4.07
Предварительное замечание. Предлагаемое голосование никоим образом не влияет на результаты турнира.
Перед последним турниром после него (а может и раньше тоже) был высказан ряд идей о новой системе подсчета результатов. Основной недостаток линейной системы (один вопрос - одно очко) – нет учета сложности вопроса. Прозвучало два принципиально разных подхода к оценке вопроса:
1) объективный (типа: В=N-m, при m>0 и B=0 при m=0 , где N - количество команд, m – количество правильных ответов, В – балл вопроса. Или система Semak-а) ;
2) субъективный – оценка вопросов игроками после турнира.
Оба подхода отражают основные требования к вопросу ЧГК – трудность (спортивность) и красоту. Однако сразу без объективной проверки внедрять оба подхода немножко не разумно.
Во-первых, есть вероятность, что субъективная (за красоту) и объективная (за трудность) оценки существенно коррелируют. Во-вторых, в любом голосовании есть проблема кворума. Если на это экспериментальное голосование явится мало игроков, то вряд ли в дальнейшем положение изменится.
Поэтому предлагаемый эксперимент с голосованием решает следующие задачи:
1. Определение корреляции объективной и субъективной оценок вопроса.
2. Оценка трудоемкости проведения голосования.
3. Оценка явки на голосование.
4.А если очень повезет, то может обнаружиться и формула красоты вопроса (есть у меня подозрение, что система Semak-а оценивает именно красоту вопроса, а не его трудность).
После соответствующей статистической обработки данных появится ясность, окупаются ли усилия по голосованию полезной информацией. И тогда вопрос о нужности голосования в следующих турнирах можно будет решать не умозрительно, а на основании фактов.
Методика.
Согласно всем (известным мне) разработкам социологии голосование должно быть анонимным и с механизмом защиты от повторного участия. Самое простое решение это 15 тем-опросов, как в разделе «обсуждение вопросов». Если администрация форума или модераторы турнира сочтут полезным сделать внутри «Золотого кольца» отдельный форум «Голосование» тогда темы размещу там. Если нет то в «зрительской ложе». После завершения голосования темы-опросы можно будет потереть.
По времени. Судя по оценкам данеток, эйфория и прочий адреналин игроков должен улетучиться, дабы оценки были объективнее. Поэтому такого типа голосования надо проводить не раньше чем через неделю турнира. Длиться это экспериментальное голосование будет 7 дней.
Влад абсолютно верно заметил, что турнирные вопросы отличаются от обычных. Для того чтобы игроки это не забывали данное голосование – это расстановка вопросов в порядке убывания. Лучший вопрос ставится на 1 место, не такой отличный на 2-ое место и т.д.
Для голосования весьма рекомендуется сначала на бумажке или отдельном экране расставить места вопросам
== Все для горожан (Трамваи) = … место
== По Петербургу (Памятник) = … место
== Не все то золото, что блестит (Великий Устюг) = … место
== Новый взгляд на старое (Дамаск) = … место
== За нашу победу (КАННЫ) = … место
== Девушкам из высшего общества (Догвиль) = … место
== 90 секунд (Скачки) = … место
== Титулованный город (Себастос) = … место
== Танец (Grim Fandango) = … место
== Кстати о птичках (Мадагаскар) = … место
== Цветной сон (Шойгу) = … место
== Удивительный городок (Лимон) = … место
== По долинам и по взгорьям (Телави - Тель-Авив) = … место
== Дядя самых честных правил (Содом и Гоморра) = … место
== Суперблиц (в целом) = … место
Предварительный срок начала голосования 24.4.07
С уважением, Василий.
А кто сказал, что я прав?
А кто сказал, что я прав?
- Semak
- Акула пера
- Сообщения: 7894
- Зарегистрирован: 13 май 2004, 18:30
- Пол: Мужской
- Откуда: Москва
- Контактная информация:
Идея-то хороша, можно и поиграть с информацией.
Только пара замечаний.
- не стоит приписывать мне авторство системы B=(N-m), эту идею мы утащили у ребят с гамблера, плюс я краем уха слышал, что нечто похожее есть в реальном спортивном ЧГК
- помимо оценок, которые получает команда-игрок за взятые вопросы, есть еще и вторая составляющая - какие штрафы или премии за вопрос получает команда-автор
- как определить "идеальность вопроса" (от этого зависят премии или штрафы команде-автору)?
а) мне казалось, что идеальный вопрос - это тот, на который ответила ровно половина команд
б) господин MURLO озвучил несколько иной критерий: идеальный вопрос - этот такой, на котороый ответила только одна команда
Только пара замечаний.
- не стоит приписывать мне авторство системы B=(N-m), эту идею мы утащили у ребят с гамблера, плюс я краем уха слышал, что нечто похожее есть в реальном спортивном ЧГК
- помимо оценок, которые получает команда-игрок за взятые вопросы, есть еще и вторая составляющая - какие штрафы или премии за вопрос получает команда-автор
- как определить "идеальность вопроса" (от этого зависят премии или штрафы команде-автору)?
а) мне казалось, что идеальный вопрос - это тот, на который ответила ровно половина команд
б) господин MURLO озвучил несколько иной критерий: идеальный вопрос - этот такой, на котороый ответила только одна команда
Каждой хорошенькой девушке - по плохому танцору!
Хотите научиться играть в бридж? Тогда вам СЮДА
Хотите научиться играть в бридж? Тогда вам СЮДА
- exРепушкин
- TheMagus
- Сообщения: 9027
- Зарегистрирован: 26 сен 2005, 11:31
- Пол: Женский
- Откуда: Задворки Цивилизации
По моему мнению, вы пытаетесь шоколад с квашеной капустой кушать из одной тарелки.
Конкурс вопросов и авторов - отдельный конкурс.
Было бы здорово, если после турнира за тройку лучших вопросов авторским командам по очку прибавить.
Да только у нас голосовать будут монтекки за монтеков;), а капулетти за своих опять же ж .
Конкурс вопросов и авторов - отдельный конкурс.
Было бы здорово, если после турнира за тройку лучших вопросов авторским командам по очку прибавить.
Да только у нас голосовать будут монтекки за монтеков;), а капулетти за своих опять же ж .
слова любви и благодарности!
- exРепушкин
- TheMagus
- Сообщения: 9027
- Зарегистрирован: 26 сен 2005, 11:31
- Пол: Женский
- Откуда: Задворки Цивилизации
- влад
- Популярный автор
- Сообщения: 4917
- Зарегистрирован: 29 мар 2006, 18:38
- Пол: Мужской
- Откуда: Москва
- Контактная информация:
marta писал(а):соглашусьSemak писал(а):б) господин MURLO озвучил несколько иной критерий: идеальный вопрос - этот такой, на котороый ответила только одна команда
одна или две
Полностью не соглашусь, это верно если автор не владеет информацией об отдельных игроках и их знаниях, иначе он может давать наводки, индивидуальные для конкретного игрока, и вообще к сожалению, количество команд и различия в знаниях и в их уровне отдельных игроков и команд в целом пока не позволяют вводить ИМХО чисто статистический подход.
- Semak
- Акула пера
- Сообщения: 7894
- Зарегистрирован: 13 май 2004, 18:30
- Пол: Мужской
- Откуда: Москва
- Контактная информация:
Тогда по этой терминологии супер-пупер вопросы последнего турнира - это Канны и Догвиль. Так, получается?
Каждой хорошенькой девушке - по плохому танцору!
Хотите научиться играть в бридж? Тогда вам СЮДА
Хотите научиться играть в бридж? Тогда вам СЮДА
- Павел Мальдинин
- Графоман со стажем
- Сообщения: 543
- Зарегистрирован: 18 янв 2007, 12:15
- Пол: Мужской
- Откуда: Оренбург
- Контактная информация:
+1Руся писал(а):Видимо даSemak писал(а):Тогда по этой терминологии супер-пупер вопросы последнего турнира - это Канны и Догвиль. Так, получается?
Идеальные с точки зрения формата турнира вопросы. Они лучшие и это понятно без голосования. Предлагаю голосовать за самый красивый вопрос.
Forza Milan - Viva Italia!
- exРепушкин
- TheMagus
- Сообщения: 9027
- Зарегистрирован: 26 сен 2005, 11:31
- Пол: Женский
- Откуда: Задворки Цивилизации
Будучи автором вопроса про Биг-Бен с Чугунковского турнира, взятого одной командой, выскажу точку зрения против себя даже:Павел Мальдинин писал(а):+1Руся писал(а):Видимо даSemak писал(а):Тогда по этой терминологии супер-пупер вопросы последнего турнира - это Канны и Догвиль. Так, получается?
Идеальные с точки зрения формата турнира вопросы. Они лучшие и это понятно без голосования.
вопрос, взятый одной командой - вопрос недоделанный.
А тониных роботов вспомнила, потому что сняты были ведь вовсе не по политическим мотивам, а объективно, за недоработки? Я ведь не ошибаюсь:)?
Вот два плохих вопроса, по вашей системе претендующие на лучшие.
слова любви и благодарности!
- exРепушкин
- TheMagus
- Сообщения: 9027
- Зарегистрирован: 26 сен 2005, 11:31
- Пол: Женский
- Откуда: Задворки Цивилизации
- Филь
- Популярный автор
- Сообщения: 3179
- Зарегистрирован: 18 янв 2005, 17:09
- Пол: Женский
- Откуда: Москва
- Контактная информация:
Re: К вопросу о системах оценки
Вот чего не поняла про предложенный метод голосования - как командам со своими-то вопросами поступать?
Перепады настроения составляют важную часть женского шарма.