Прочитал статью, как в НБА начали использовать ИИ для поиска и нарезки хайлайтов, и вспомнил, как я делал программу для поиска хайлайтов на Twitch.

Зачем нужен автоматический поиск хайлайтов

Простой ответ - чтобы сэкономить время и не смотреть всю трансляцию, а сразу отсматривать интересные моменты.

Это может быть нужно обычному зрителю, который не хочет пропустить самые интересные моменты.

Но намного больший интерес это может представлять для ютуберов, которые хотят выпускать нарезки лучших моментов. Раскрученным “нарезчикам” обычно большую часть материала присылают сами зрители или герои хайлайтов. Начинающие ютуберы, которые хотят занять эту нишу для новых, вынуждены собирать материал сами, и подобная автоматизация им очень сильно поможет.

Как найти хайлайт в трансляции

Очевидный и простой способ - отслеживать пики активности чата. Живой чат помимо того, что дает дополнительный контент для зрителя, является достаточно хорошим прокси для отслеживания интереса аудитории.

Статья для легкого чтения, поэтому не буду останавливаться на технике того, как выкачать чат трансляции с Твича, как работать с API и прочем.

Вот пример с Reddit анализа чата в профессиональной игре по SC2:

По ссылке можно посмотреть полноразмерную картинку

На графике можно увидеть самые большие всплески в конце сыгранных игр, когда один из участников одерживает победу.

Вот еще пример с благотворительного марафона GamesDoneQuick:

По ссылке можно посмотреть полноразмерную картинку

Здесь не так много анализа, но отмечены точки, когда набиралась та или иная круглая сумма.

По такому же принципу работала и моя программа. Небольшое уточнение было в том, что анализировалась не просто активность чата, а частота слов-триггеров.

Небольшой анализ позволит предположить, что поиск по словам триггерам еще более эффективен и позволяет также задавать тональность искомых хайлайтов.

В качестве триггеров, могут выступать как классические реакции, так и коды смайликов:

ха

лол

pogface

kappa

Статистика активности чата тоже была доступна. Вот пример визуализации реального чата:

Варианты улучшения метода

• Если определить какие реакции и смайлы коррелируют с общей активностью чата, то в дальнейшем можно автоматически переключаться на них в качестве триггеров и быстрее анализировать новые каналы и типы трансляций
• Анализ тональности чата по семантике
• Все богатство AI методов, но тогда это уже не будет такой простой способ

Заключение

Конечно, это самый примитивный способ находить интересные моменты на трансляции. Но он работает.

PS. Кто помнит такой сайт kappa.ws?