Авторы, пришедшие с других площадок, ищут в студии Rutube кнопку «тестировать обложку» и не находят. Потом ищут сервисы, которые «сделают A/B-тест за вас», — и находят предложения, которые на деле тестом не являются. Разберём, что такое настоящий A/B-тест, почему на Rutube его сейчас нет и как всё-таки сравнивать варианты упаковки так, чтобы выводы не были гаданием.
Что такое настоящий A/B-тест
Настоящий A/B-тест устроен так: платформа одновременно показывает разным зрителям разные варианты обложки или названия одного и того же ролика, а потом сравнивает, какой вариант чаще открывают и дольше смотрят. Ключевое слово — одновременно. Обе версии живут в одних и тех же условиях: один день недели, одна лента, одни и те же рекомендации вокруг. Разница в результате тогда объясняется упаковкой, а не тем, что в понедельник зрителей было больше, чем в четверг.
Такой тест может провести только сама платформа, потому что только она решает, кому какую картинку показать. Снаружи это не повторить.
Почему на Rutube этого нет
Две причины, обе простые.
Функции нет в студии. В интерфейсе загрузки и редактирования ролика есть одна обложка и одно название. Поля «вариант Б» не существует. Платформа не раскрывает, планирует ли она такую возможность, поэтому строить стратегию вокруг ожидания не стоит.
Публичного API для правок нет. У Rutube нет открытого интерфейса, через который сторонний сервис мог бы менять обложки, названия или описания ваших роликов. Значит, любой сервис, обещающий «автоматическую ротацию обложек» или «массовые правки по каналу», либо просит ваш пароль и делает всё руками через интерфейс студии, либо обещает то, чего сделать не может. Первое небезопасно, второе — обман. Настоящее разделение зрителей на группы не в силах устроить никто, кроме платформы.
Что из этого следует: на Rutube автор может менять упаковку только сам, только последовательно и только для всех зрителей сразу. Всё, что ниже, построено на этом ограничении.
Три замены, которые работают
1. Последовательная замена
Самый честный вариант из доступных. Ролик выходит с обложкой А, вы замеряете неделю. Потом меняете на обложку Б и замеряете следующую неделю в том же режиме. Сравниваете две недели.
Слабое место очевидно: недели разные. В одну могли быть праздники, в другую — конкурент выпустил вирусный ролик на вашу тему, в третью платформа перетасовала рекомендации. Поэтому одно сравнение «неделя к неделе» — не приговор, а наблюдение. Уверенность появляется, когда одно и то же направление изменения повторяется на нескольких роликах. Как технически менять обложку и название без перезалива, описано в статье про изменение видео после публикации, а о том, какие старые ролики вообще стоит трогать, — в материале про переупаковку старых видео.
2. Похожие ролики с разной упаковкой
Если у вас рубрика и выпуски похожи по теме и длине, можно выпустить два соседних выпуска с разным подходом к обложке: один — крупное лицо с эмоцией, другой — предмет и две строки текста. Это не тест одного ролика, а сравнение двух, и к разнице в упаковке примешивается разница в содержании. Зато оба ролика живут в близких условиях по времени. Делайте так на серии из нескольких пар, а не по одной.
3. «Тест» на другой площадке
Тот же ролик выходит в VK Видео или на Дзене с другим названием или обложкой, и вы смотрите, где кликают охотнее. Оговорка обязательна: это разные аудитории с разными привычками, другие ленты и другие рекомендательные механизмы. Если в VK лучше сработал вариант Б, это не доказывает, что на Rutube он тоже лучше. Но если вариант Б проигрывает везде, это уже повод задуматься. Нюансы двойной публикации — в статьях про одно видео на Rutube и VK и про Дзен и Rutube.
Какие метрики сравнивать, а какие нет
| Сравнивать | Не сравнивать |
|---|---|
| Просмотры за первые сутки и за первую неделю | Суммарные просмотры роликов разного возраста |
| Удержание в студии (средняя доля досмотра) | «Нравится» в абсолютных числах без привязки к просмотрам |
| Позицию по главному запросу до и после смены | Ощущение «вроде стало лучше» |
| Долю переходов из поиска и рекомендаций, если студия показывает разрез | Цифру публичной страницы против цифры студии |
Суммарные просмотры — главная ловушка. Ролик двухмесячной давности набрал больше, чем недельный, просто потому, что у него было больше времени; обложка тут ни при чём. Честные точки — одинаковый возраст: первые сутки, первая неделя. Почему именно так и что происходит с роликом в это время, разобрано в статье про первую неделю после публикации.
Отдельно про позицию в поиске. Смена названия почти всегда меняет положение ролика по запросу, и это видно раньше, чем изменение в просмотрах. Поставьте главный запрос ролика на проверку позиций до замены и смотрите динамику после: если ролик упал на вторую страницу, новое название убрало из заголовка слова, по которым его находили, и кликабельность уже не спасёт.
Чек-лист честного сравнения
- Меняйте одну вещь. Обложку или название, не обе сразу. Иначе не понять, что сработало.
- Одинаковые окна. Неделя против недели, сутки против суток. Не «три дня до» против «двух недель после».
- Один источник данных. Всё по студии или всё по публичной странице; смешивать нельзя, цифры там расходятся по своим причинам.
- Записывайте дату и что именно поменяли. Через месяц без записи вы не вспомните, какая обложка стояла в какую неделю.
- Ждите повторения. Один результат — наблюдение. Три одинаковых результата на разных роликах — уже закономерность, на которую можно опираться.
Проверить упаковку до публикации
Часть работы можно сделать до того, как ролик вообще увидит зрителя. Анализ видео показывает, как ролик выглядит для поиска: читается ли запрос в названии, не обрезается ли оно, есть ли в описании текст, а не только ссылки. Это не заменяет тест, но снимает грубые ошибки: название, которое обрезается на половине мысли, проиграет любому варианту ещё до сравнения. О том, какие обложки и названия вообще стоит пробовать, — в статьях про обложки для видео и про заголовки для видео.
Коротко
- Настоящий A/B-тест — разные варианты разным зрителям одновременно. Провести его может только платформа, а Rutube такой функции не даёт.
- Публичного API для правок у Rutube нет: сервисы, обещающие ротацию обложек и массовые правки, либо просят пароль, либо обещают невозможное.
- Работают три замены: последовательная смена с замером неделя к неделе, сравнение похожих роликов с разной упаковкой, проверка на другой площадке с поправкой на чужую аудиторию.
- Сравнивайте просмотры за одинаковое окно, удержание и позицию по запросу; не сравнивайте суммарные просмотры роликов разного возраста.
- Меняйте одну вещь за раз, записывайте дату и ждите, пока результат повторится.