Dev Story А/B тестирование иконки, скриншотов и описания для AppStore: доверяй – но проверяй

Информатор avatar | 6
FavoriteLoading В закладки
А/B тестирование иконки, скриншотов и описания для AppStore: доверяй – но проверяй

Нам пишет Алексей Волков.

ab

Этим летом нам на глаза попалась статья «Как проводить A/B тестирование для описания приложений в AppStore и Google Play». Увеличение числа установок приложения после микро-теста впечатлило и мы провели свое тестирование на нашей игре «Слово за слово – игра с друзьями».

А/В тестирование состояло из 4 шагов:

  1. Подготовка материалов;
  2. Создание лендингов;
  3. Организация трафика на лендинги;
  4. Анализ результата.

Мы подготовили по 4 варианта иконки, описания и скриншотов, а затем приступили к созданию лендингов.

Всего было сделано 12 страниц, которые имитировали страницу в AppStore. К кнопке «скачать» прикрутили счетчик, который отслеживал количество кликов.

Пример лендинга.

l1

После подготовки лендингов мы начали нагонять на них трафик из Google AdWords. Создав 12 кампаний, объявления и ключевые слова, со вздохом облегчения отправили их на модерацию.

Но на следующий день все 12 страниц отвергли, с пометкой «добавьте индивидуальности».

Пример скорректированного лендинга:

wbw_ss-1

После сбора статистики, мы получили следующие результаты (кол-во трафика на каждом из лендингов – 1000 пользователей):

Иконка:

icons

№ 1 – 29 переходов – 3 место;
№ 2 – 47 переходов – 1 место;
№ 3 – 42 перехода – 2 место;
№ 4 – 25 переходов – 4 место.

Описание:

about1

about2

№ 1 – 16 переходов – 4 место;
№ 2 – 44 переходов – 3 место;
№ 3 – 46 перехода – 2 место;
№ 4 – 48 переходов – 1 место.

Скриншоты:

ss-1

ss-2

ss-3

ss-4

№ 1 – 19 переходов – 3 место;
№ 2 – 17 переходов – 4 место;
№ 3 – 22 перехода – 2 место;
№ 4 – 43 перехода – 1 место.

И показатели становились хуже! Конечно, мы вернулись к прежнему варианту N1.

Было принято решение выкатить новый билд, поменяв в нем «имидж»: использовать наиболее выигрышные по итогам тестирования иконку, описание и скриншоты.

Понедельник день тяжелый, но может быть ещё тяжелее. До внесения изменений игра занимала следующие позиции:
RU-Overall – 119 место;
RU-Games — 43;
RU-Puzzle- 10;
RU-Word — 1.

После внесения изменений:
RU-Overall – 530 место;
RU-Games — 153;
RU-Puzzle- 41;
RU-Word — 5.

И показатели становились хуже! Конечно, мы вернулись к прежнему варианту.

Результат тестирования оказался для нас неожиданным, а последствия – шокирующими. Но негативный опыт – тоже опыт. В процессе анализа проведенного тестирования мы сделали вывод, что аудитория рекламной сети Google AdWords отличается от нашей целевой аудитории в AppStore, в отличии от приложения автора статьи, на которую мы опирались.

iPhone + iPad: Freemium [Скачать в App Store]

Данная история опубликована в рамках рубрики Developer Story, где разработчики делятся секретами своей внутренней кухни.
1 Звезд2 Звезды3 Звезды4 Звезды5 Звезд (Проголосуйте первым за статью!)
undefined
iPhones.ru
Нам пишет Алексей Волков. Этим летом нам на глаза попалась статья «Как проводить A/B тестирование для описания приложений в AppStore и Google Play». Увеличение числа установок приложения после микро-теста впечатлило и мы провели свое тестирование на нашей игре «Слово за слово – игра с друзьями». А/В тестирование состояло из 4 шагов: Подготовка материалов; Создание лендингов;...
Прокомментировать

🙈 Комментарии 6

  1. Drag avatar
    Drag29 сентября 2014
    0

    Вывод, то неправильный.
    После апдейта вы потеряли отзывы и рейтинг, стали хуже биться по ключевикам – как результат упали вниз.

    alevolk avatar
    alevolk29 сентября 2014
    0

    @Drag, у нас апдейты происходят раз в две недели и мы ни разу не падали так стремительно вниз. А по ключевикам мы как бились до этого апдейта, так и после него бились – ничего не изменилось.

    Drag avatar
    Drag29 сентября 2014
    0

    @alevolk, тогда и правда очень странно.
    отзывы на последнюю версию в сторе очень противоречивые, может это плияло?
    После того как вернули скриншоты и описание, резко скакнули вверх и вернулись на свою позицию?

    Drag avatar
    Drag29 сентября 2014
    0

    @alevolk, По графику в AppAnnie видно что апдейт был в начале выпадения из топа, отсуствие отзывов ускорило его. Но вообще из топа часто быстро вылетаешь, ведь чем ниже позиция, тем меньше органики, и получается замкнутый круг. Последний ваш апдейт от 19 сентября, еще ниже опустил вас в рейтинге с 400 на 918, хотя в нем вы были с проверенным временем скринами. Так что не думаю что есть какая-та связь.

    alevolk avatar
    alevolk29 сентября 2014
    0

    @Drag, Это падение было связано с техническими проблемами, которые мы почти решили. А после того апдейта как мы вернули иконку, мы опять вернулись на топ-1 в словесных.

  2. Dodobird avatar
    Dodobird30 сентября 2014
    1

    Вцелом, за статью и опыт спасибо! Хотел бы обратить внимание на пару моментов.
    Данный результат A/B тестирования с 1000 посетителями и 47 кликами – это не результат. Разница между вашим 1-м и 4-м местом в результатах в 30 кликов – это все в пределах погрешности, поэтому серьезно рассматривать его не стоит. А тем более – делать какие-то выводы.
    И совет автору о статье – когда представляете нам результаты – сортируйте участников по занятым местам, иначе трудно понять кто из них занял какое место – у вас смешаны результаты, места и ваши номера участников.

Вы должны авторизоваться или зарегистрироваться для комментирования.

Нашли орфографическую ошибку в новости?

Выделите ее мышью и нажмите Ctrl+Enter.

Как установить аватар в комментариях?

Ответ вот здесь