Задумка и данные

Спустя год после публикации, результаты предыдущего исследования по Tanks Blitz завирусились в профильных пабликах. Было приятно. Это мотивировало пойти опубликовать новое исследование.

В этой заметке посмотрим статистику по рейтинговым боям (далее - “РБ”) на протяжении последних 6 месяцев, а также эффекты от события “Рейтинговый спринт” в апреле 2025 года.

Для статистики я в конце каждого месяца собирал данные из раздела “Зал славы -> Рейтинг”, в котором доступны рейтинговые позиции всех игроков, прошедших калибровку в этом сезоне.

Данные доступны также в API, но для их сбора надо запросить данные всех 250+ млн аккаунтов. Плюс API иногда не работает. Данные за предыдущие сезоны, к сожалению, не доступны ни там, ни там.

Популярность рейтинговых боев

Сначала посмотрим на общее количество участников рейтинговых боев по месяцам (сезоны в рейтинге совпадают с календарными месяцами):

Инсайты:

• Стабильная аудитория рейтинговых боев - ~200 тыс. человек.
• В апреле 2025 года был резкий всплеск до ~500 тыс. человек за счет события “Рейтинговый спринт” в апреле 2025 года.
• К сожалению, я не сохранял данные по количеству рейтинговых боев, но в перспективе, на это тоже стоит посмотреть.

Мы также можем посмотреть, а в скольки сезонах из этих 6 каждый из игроков, чтобы еще больше понять целевую аудиторию:

Инсайты:

• Постоянные завсегдатаи РБ, не пропустившие ни одного сезона - ~40 тыс. человек.
• Чистый эффект события Рейтинговый спринт - ~230 тыс. человек, которые никогда больше не играли в РБ на протяжении этого полугода (а возможно и более), но зашли и, как минимум, откалибровались в РБ в апреле.

Распределение по рейтингу

Посмотрим на распределение игроков по рейтингу. На графике ниже отображено кумулятивное распределение игроков по рейтингу, а также пороговые значения отдельных процентилей. Агрегированы данные за 5 из 6 сезонов, кроме сезона c Рейтинговым спринтом (почему - об этом ниже).

Инсайты:

• Вся Бриллиантовая лига - это лучшие 1% аудитории РБ.
• При калибровке все игроки стартуют со скрытого рейтинга 3000, но в итоге медианный рейтинг находится на уровне ~3250. У меня нет ответа, вызвано ли это отклонение естественными причинами (в РБ, предположительно, используется система ELO, которая в совсем строгом варианте должна обеспечивать сохранение медианы), или это эффект “инфляции” рейтинга за счет того, что в РБ лучшему игроку (очень редко - двум) проигравшей команды тоже дают плюс в рейтинг.
• Если присмотреться, то на в целом гладкой кривой видны всплески в районе рейтингов 4000 и 5000. Предположительно, это игроки, которые достигают конкретного рейтинга, чтобы закрепиться в следующей рейтинговой лиге, и после этого перестают играть.

Почему в графике выше не учитывался сезон с рейтинговым спринтом? У него немного другие процентили. В таблице ниже отображены процентили в разрезе каждого из 6 месяцев:

В апрельском сезоне с Рейтинговым спринтом наблюдаются самые высокие значения процентилей. Сейчас из-за отсутствия данных по количеству боев не могу точно сказать, в чем именно причина. Так как рейтинги приросли на всех процентилях (кроме 100 - где просто отображен максимум в этом сезоне), то предположу, что это следствие инфляции рейтинга из-за того, что одному из проигравших в бою дают плюс в рейтинг.

В исходных данных есть 8 случаев за 6 месяцев, когда игроки заканчивали сезон с рейтингом 0 (на самом деле, их elo-рейтинг ниже нуля, но в интерфейсе отображался ноль). 6 из 8 случаев - в сезоне с Рейтинговым спринтом. И, в целом, если посмотреть сверхнизкие рейтинги, то виден перекос в сторону того самого сезона с ивентом. Изначально я предположил, что эти 8 случаев - это использование ботов. Но, вроде как, это не так.

Выборочно проверил этих 8 игроков:

• Игроки, вроде бы, не забанены.
• У 7 игроков из этого пула винрейт в районе 40%, что вероятно, нормально, для такого результата в РБ.
• У последнего игрока винрейт 57% на 31 тыс. боев в рандоме (что считается достаточно хорошим для Tanks Blitz), но в РБ рейтинг стабильно каждый сезон на дне. Вероятно, это такой способ отдыхать.

Теперь к самому интересному…

Взаимосвязь между рейтингом и скиллом

Вопрос, который меня интересовал больше всего, какая взаимосвязь между скиллом (англ. skill) и рейтингом. Факт, что в РБ, особенно на высоких рейтингах, играют по другому, нежели в Случайных боях. Но связь ожидаемо должна быть.

Для графика ниже я разбил итоговые рейтинги на группы размером 50 очков рейтинга и посмотрел, какие у этих игроков проценты побед в Случайных боях. Оценивались только те игроки, у которых количество боев в Случайных боях больше 10 тыс., чтобы исключить “псевдо статистов”, которые набивают завышенный процент побед в “нубке”.

На графике представлены медианные винрейты для каждого из рейтингов, а также величины стандартных отклонений. Использованы данные за 5 сезонов из 6, т.е. без учета сезона с Рейтинговым спринтом.

Инсайты:

• Видна явная взаимосвязь между винрейтом в Случайных боях и рейтингом в Рейтинговых боях. Посчитанный коэффициент корреляции - 61%, что на такой выборке обладает статистической значимостью.
• По графику можно условно оценить личные перспективы в РБ. Например, при винрейте в Случайных боях 55%+ закономерно ожидать попадание в Бриллиантовую лигу (рейтинг >5000).
• В районе 3000 рейтинга - очень хорошая предсказуемость винрейта (линия медианного винрейта “прямая”, а “коридор” стандартного отклонения уже), так как много игроков и игр (все проходят через этот диапазон при калибровке). На сверхвысоких и сверхнизких рейтингах, где относительно мало игроков - больше разброс и неопределенность.
• Медианный рейтинг 3250 соответствует медианному винрейту ниже 50%. Здесь может быть множество причин, почему так (включая проблемы в методологии), но этот результат был более ожидаем, чем когда в прошлом исследовании средний винрейт всех игроков получился выше 50%.

Заключение

Надеюсь, было интересно. Пишите в комментариях, если у вас есть другие интерпретации представленных данных.

В планах на вторую часть посмотреть, какая динамика РБ идет внутри месяца и есть ли какая-то дата, после которой достигнуть целевого рейтинга проще. (в связи с тем, что все начинают с 3000, интуитивно кажется, что в конце месяца должно быть проще достигнуть высокого рейтинга, но есть нюансы).

PS. Есть еще один интересный датасет за 2024 год. Но, не уверен, есть ли у него практическое значение, кроме праздного интереса.