Вопросы «Что? Где? Когда?» стали легче. Насколько — считаем по 9.8 миллионам ответов
С 2010 по 2020 год доля команд, берущих вопрос, выросла на 9.7 пункта. Отсюда легко сделать вывод, что вопросы упростили. Вывод верный, но заниженный: за те же годы ослаб и состав играющих, а значит настоящее упрощение больше видимого.
Что видно сразу
Доля взятия росла почти непрерывно: с 37.1% в 2010 году до 46.8% в 2020-м.
Почему этого недостаточно
Доля взятия отвечает на вопрос «сколько команд взяли», а не «трудный ли вопрос». Она зависит и от того, кто играл. За эти годы синхронные турниры разошлись вширь: среднее поле сначала упало с 330 команд до 118, потом выросло, и состав менялся непрерывно. Сравнивать доли разных лет напрямую нельзя.
Как разделить два эффекта
Модель Раша оценивает силу команды и трудность вопроса одновременно и на одной шкале:
вероятность взятия = sigmoid(сила команды − трудность вопроса)
Шкалу связывают команды, игравшие в нескольких турнирах: через них сопоставимы вопросы, которые никогда не встречались вместе. Соседние годы связывают от 1300 до 3700 общих команд, поэтому сквозное сравнение 2010 года с 2020-м обосновано.
Результат
- Сила поля упала на 0.4 логита. Пришло много команд, играющих редко и слабее постоянных.
- Трудность вопросов упала на 1.43 логита — втрое сильнее.
То есть организаторы упрощали вопросы вслед за расширением аудитории и упростили заметно сильнее, чем та ослабла. Видимый рост взятия на 9.7 пункта скрывает часть эффекта: если бы состав играющих не менялся, рост был бы больше.
Проверки
Модель воспроизводит наблюдаемую долю взятия по каждому году с расхождением не более 0.2 процентного пункта — одиннадцать лет подряд. Из расчёта исключены случаи без конечной оценки: команда, не взявшая ничего, и вопрос, который не взял никто. У них правдоподобие растёт монотонно, оценка уходит в бесконечность и тянет шкалу за собой.
Чего этот расчёт не говорит
- Он не объясняет почему вопросы упростились. Расширение аудитории — правдоподобная причина, но данные показывают совпадение, а не причинность.
- Он охватывает турниры, попавшие в рейтинг и сопоставленные с базой вопросов: около трети пакетов. Пакеты, не попавшие в выборку, могли вести себя иначе.
- Границы ряда (2010 и 2020) опираются на меньшее число турниров, чем середина.
Расчёт и текст: Александр Айвазов.