Простой способ для определения хайлайтов в онлайн трансляциях

Прочитал статью, как в НБА начали использовать ИИ для поиска и нарезки хайлайтов, и вспомнил, как я делал программу для поиска хайлайтов на Twitch.

Зачем нужен автоматический поиск хайлайтов

Простой ответ - чтобы сэкономить время и не смотреть всю трансляцию, а сразу отсматривать интересные моменты.

Это может быть нужно обычному зрителю, который не хочет пропустить самые интересные моменты.

Но намного больший интерес это может представлять для ютуберов, которые хотят выпускать нарезки лучших моментов. Раскрученным “нарезчикам” обычно большую часть материала присылают сами зрители или герои хайлайтов. Начинающие ютуберы, которые хотят занять эту нишу для новых, вынуждены собирать материал сами, и подобная автоматизация им очень сильно поможет.

Как найти хайлайт в трансляции

Очевидный и простой способ - отслеживать пики активности чата. Живой чат помимо того, что дает дополнительный контент для зрителя, является достаточно хорошим прокси для отслеживания интереса аудитории.

Статья для легкого чтения, поэтому не буду останавливаться на технике того, как выкачать чат трансляции с Твича, как работать с API и прочем.

Вот пример с Reddit анализа чата в профессиональной игре по SC2:

SC2 chat activity analysis

По ссылке можно посмотреть полноразмерную картинку

На графике можно увидеть самые большие всплески в конце сыгранных игр, когда один из участников одерживает победу.

Вот еще пример с благотворительного марафона GamesDoneQuick:

GDQ chat activity analysis

По ссылке можно посмотреть полноразмерную картинку

Здесь не так много анализа, но отмечены точки, когда набиралась та или иная круглая сумма.

По такому же принципу работала и моя программа. Небольшое уточнение было в том, что анализировалась не просто активность чата, а частота слов-триггеров.

Небольшой анализ позволит предположить, что поиск по словам триггерам еще более эффективен и позволяет также задавать тональность искомых хайлайтов.

В качестве триггеров, могут выступать как классические реакции, так и коды смайликов:

ха

лол

pogface

kappa

Статистика активности чата тоже была доступна. Вот пример визуализации реального чата:

Статистика чата

Варианты улучшения метода

Заключение

Конечно, это самый примитивный способ находить интересные моменты на трансляции. Но он работает.

PS. Кто помнит такой сайт kappa.ws?

Категории: TechnologyTwitch

© 2016–2019 Creative Commons BY-NC-ND 4.0
Powered by Hugo & GitLab

comments powered by Disqus