Предварительный просмотр страницы / 2016 A / B Тесты

1. Вступление [ редактировать ]
2. Методология [ редактировать ]
3. Результаты [ редактировать ]
4. Скорость отключения функции ховеркарт [ редактировать ]
5. Изменения глубины сеанса [ редактировать ]
6. Изменения в ссылочных взаимодействиях [ редактировать ]
7. Тарифы на клики для ховеркарт [ редактировать ]
8. Влияние на сбор средств [ редактировать ]
9. Обсуждение [ редактировать ]
10. Скорость отключения Hovercards [ редактировать ]
11. Изменения глубины сеанса [ редактировать ]
12. Взаимодействия на данной странице [ редактировать ]
13. Заключение [ редактировать ]
14. Следующие шаги [ редактировать ]
15. Источники данных [ редактировать ]

Чтобы определить изменения в поведении чтения и оценить успех Бета-версия Hovercards три теста А / Б были проведены в венгерской, итальянской и русской википедии. A / B-тестирование в венгерской Википедии началось 7 июня 2016 года. A / B-тестирование в итальянской и русской Википедии началось 23 сентября 2016 года.

Целью команды было установить успех функции Hovercards, измерить влияние на вовлечение пользователей и сравнить эти тесты с предыдущими количественными и качественными результатами. Ховеркарты хорошо зарекомендовали себя в предыдущий тест в греческом и каталонском Википедии, пользователи сообщают о положительном взаимодействии с функцией. Мы хотели еще раз проверить эти результаты в более широком масштабе, узнав больше о поведении пользователя при чтении.

Исходя из результатов этих тестов, мы можем заключить, что функция Hovercards используется пользователями во всех протестированных википедиях и что Hovercards способствуют положительным изменениям в поведении чтения тремя способами.

• Увеличивая точность, с которой пользователи выбирают страницы, которые они читают.
• Снижение затрат на исследование других страниц.
• Предоставление пользователям возможности выборочно сосредоточиться на одной теме, предоставляя контекст на странице.

Отказ от ответственности : Мы хотели бы отметить, что в течение этого периода был зарегистрирован ряд проблем с инструментарием тестов Ховеркарда. В качестве средства устранения этих проблем мы будем перечислять результаты только из браузера Firefox, отмечая, что открытые вопросы о точности результатов все еще остаются.

Вступление [ редактировать ]

Карты на ховеркартах предназначены для снижения стоимости исследования ссылки, а также для содействия обучению, позволяя читателям получить контекст для статьи, которую они читают, или определить незнакомое событие, идею, объект или термин, не отходя от своего оригинала. тема.

В ходе нашего анализа мы хотели изучить поведение пользователей по отношению к функции Hovercards, чтобы ответить на следующие вопросы:

1. Люди используют Hovercards для просмотра других страниц? Поскольку для взаимодействия с содержимым другой страницы больше не требуется, чтобы пользователи уходили от статьи, которую они в настоящее время читают, мы ожидаем, что пользователи будут взаимодействовать с большим количеством ссылок на данной странице, когда включены карты Hovercards.
2. Показатели пользователей, которые отключают Hovercards - высокий показатель отключения Hovercards указывает на то, что эта функция не нужна пользователям. Низкий показатель указывает на то, что пользователю нравится эта функция, и он продолжит ее использовать

Мы также хотели изучить, как Hovercards изменяют поведение при чтении:

1. Изменения в глубине сеанса - читатели будут открывать только те страницы, которые им особенно интересны, и просматривать резюме на всех других страницах. Таким образом, мы ожидаем увидеть уменьшение количества просмотров страниц за сеанс браузера при включении карт Hovercard.
2. Изменения в ссылочных взаимодействиях - поскольку ранее пользователи будут взаимодействовать со ссылками по-разному, мы ожидаем уменьшения более коротких взаимодействий ссылок для карточек Hovercard в группе - поскольку пользователи будут избегать открытия карточек Hovercards для статей, о которых им не нужна дополнительная информация. Мы ожидаем увеличения более продолжительного взаимодействия ссылок, так как пользователи будут зависать над ссылками в течение более длительных периодов времени, чтобы обеспечить открытие своих карт Hovercard.
3. Влияние на сбор средств - мы предполагаем, что внедрение Hovercards приведет к уменьшению просмотров страниц. Мы хотели измерить влияние ховеркарт на пожертвования.

Эта часть эксперимента проводится командой по сбору средств. Для венгерской Википедии данные свидетельствуют о том, что функция Hovercards не оказывает негативного влияния на сбор средств. Для получения дополнительной информации посетите Расширение: Всплывающие / Fundraising_test_1 ,

Методология [ редактировать ]

Венгерская Википедия была выбрана для первого эксперимента, так как это была Википедия среднего размера, где сообщество было готово к тестированию карт Hovercards. Для последних экспериментов мы хотели повторить результаты в более крупных Википедиях, выбрав русский и итальянский на основе ответов сообщества. Для венгерской Википедии Hovercards были включены для 50% сеансов анонимного и вошедшего в систему браузера 7 июня. Для итальянской Википедии Hovercards были включены для 20% сеансов анонимного браузера 23 сентября. Для русской Википедии Hovercards были включены для 10% сеансов анонимного браузера 23 сентября. Частоты выборки для каждой Википедии были разработаны таким образом, чтобы можно было собирать достаточное количество данных без нагрузки на наши серверы EventLogging. Тест Hovercards планируется завершить 18 ноября, с возможностью расширения теста для учета технических проблем в контрольно-измерительных приборах, наблюдаемых во время выполнения тестов. Результаты, представленные ниже, относятся к периоду с 23 сентября по 10 ноября.

Сбор данных: Из-за проблем с приборами в нашем сборе данных мы применили следующие ограничения для представления результатов ниже:

Результаты [ редактировать ]

Частота использования ховеркарт [ редактировать ]

Мы изучили, как часто читатели преднамеренно смотрят на карточки с ховеркартами (определяется как показ карты в течение по крайней мере 1 секунды без того, чтобы читатель ни щелкал по связанной статье, ни отклонил карточку, убрав мышь). Среднее количество просмотров карт за просмотр страницы составило 0,28 в венгерской Википедии, 0,30 в итальянской Википедии и 0,43 в русской Википедии. За сеанс браузера просматривалось 0,65 карт в венгерской Википедии, 0,89 в итальянской Википедии и 1,43 в русской Википедии (по состоянию на 1 ноября)

Wiki-карты, просматриваемые за сессию. Карты, просматриваемые за страницу. Huwiki 0.6467 0.279 itwiki 0.8941 0.3038 ruwiki 1.4335 0.4343 в среднем 0.9914 0.3390

Использование ховеркарт было в среднем самым высоким в русской Википедии. Никаких заметных изменений в использовании не наблюдалось с течением времени.

Скорость отключения функции ховеркарт [ редактировать ]

Частота отключения (соотношение сессий, в которых пользователи решили отключить функцию Hovercards) была очень низкой: частота кликов настроек для Hovercards составила 0,02% для венгерской Википедии, 0,034% для итальянской Википедии и 0,016% для русской Википедии , Показатели отключения этой функции были еще ниже.

Примечание. Из пользовательских тестов (в англоязычной Википедии) мы знаем, что читатели, скорее всего, найдут это меню настроек, если захотят отключить Hovercards.

Процент Отключения Wiki huwiki 0.023 itwiki 0.034 ruwiki 0.016 в среднем 0.0.024

Изменения глубины сеанса [ редактировать ]

Средняя глубина сеанса (среднее количество страниц, просмотренных за сеанс) оставалась относительно одинаковой между группами Hovercard, включенными и выключенными. Глубина сеанса была выше для группы Hovercards для русской Википедии и выше для группы Hovercards для венгерской и итальянской Википедии.

Wiki Pageviews - Hovercards off Pageviews - Hovercards on huwiki 2.30 2.32 itwiki 2.91 2.94 ruwiki 3.42 3.38 в среднем 2.88 2.88

Увеличение глубины сеанса наблюдалось для венгерской и итальянской Википедии на протяжении всего теста A / B. Мы будем исследовать причины увеличения дальнейших итераций нашего анализа.

Изменения в ссылочных взаимодействиях [ редактировать ]

Взаимодействия ссылок, когда ограничение было> 300 мс для подтверждения преднамеренности, были относительно схожими для групп Hovercards включенных и выключенных групп, с большим количеством взаимодействий, зарегистрированных для группы вне Hovercards для итальянской и венгерской Википедии, и меньшим для русской Википедии. Однако, когда взаимодействия ограничивались значениями более 1 с (для моделирования относительного количества времени, которое пользователь должен начать обрабатывать в информации, предоставленной картой Hovercard), наблюдалось увеличение в среднем на 41%. Взаимодействие ссылок было самым высоким для русской Википедии.

Связь взаимодействий> 1000 мс

Вики-взаимодействия> 1000 мс, Hovercards OFF Взаимодействия> 1000 мс, Hovercards ON Разница в процентах huwiki 0.843 1.212 43.77 itwiki 1.278 1.728 35.21 ruwiki 1.803 2.62 45.23 в среднем 1.308 1.853 41.66

Связь взаимодействий> 300 мс

Вики> 300 мс, Hovercards OFF Взаимодействия> 300 мс, Hovercards ON Разница в процентах huwiki 2.268 2.201 -2.95 itwiki 3.403 3.269 -3.94 ruwiki 4.303 4.407 2.42 в среднем 3.325 3.292 -0.97

Тарифы на клики для ховеркарт [ редактировать ]

Средний рейтинг кликов для групп Hovercards ON составил 0,079 в трех протестированных Википедиях. Подробности ниже:

wiki Clickthrough - Hovercards ON Всего huwiki 0.0785 432008 itwiki 0.0761 256034 ruwiki 0.0761 252527 в среднем 0.0792 313523

Влияние на сбор средств [ редактировать ]

Результаты теста по сбору средств на венгерском языке: Расширение: Всплывающие / Fundraising_test_1 ,

Сбор средств на итальянский тест: Расширение: Всплывающие / Fundraising_test_2

Обсуждение [ редактировать ]

Частота использования ховеркарт: [ редактировать ]

Все три протестированных Википедии показали очень высокий уровень использования карт Hovercards, что указывает на то, что читатели считают эту функцию полезной.

Кроме того, если мы определяем взаимодействия страниц как любое время, когда пользователь взаимодействует с содержимым другой страницы, и сравниваем частоту взаимодействий страниц для отключенных карт Hovercard и групп Hovercards, мы получаем увеличение общего взаимодействия страниц на 31%, что позволяет нам сделать вывод что Hovercards делают содержание всех статей более доступным для читателей. Это подтверждает гипотезу о том, что Hovercards снижают стоимость исследования ссылки, повышая вероятность того, что пользователи смогут просматривать несколько страниц при чтении без затрат на переход на новую страницу. (примечание: общее количество взаимодействий за сеанс включает в себя несколько взаимодействий с одной и той же страницей в разное время. Мы корректируем для пользователей, взаимодействующих с одной и той же страницей одновременно, через hovercard и просмотр страницы, вычитая рейтинг кликов для hovercards):

общее количество взаимодействий на странице H overcards ON = общее количество взаимодействий Hovercards за сеанс + общее количество страниц, просмотренных за сеанс - переход по клику при просмотре карты с ховеркартами = {\ displaystyle {\ text {всего взаимодействия страниц}}} _ {HovercardsON} = {\ text {всего взаимодействий Hovercards за сеанс}} + {\ text {Общее количество просмотров страниц за сеанс}} - {\ text {Переход по клику при просмотре карты-ховеркара}} =}
0,99 + 2,88 - 0,080 = 3,79 взаимодействия страниц / сеанс {\ displaystyle 0,99 + 2,88-0,080 = 3,79 {\ text {взаимодействия страниц / сеанс}}}
общее количество взаимодействий на странице H o v e r c a r d s O F F = 2,88 взаимодействия на странице / сессия {\ displaystyle {\ text {общее количество взаимодействий на странице}} _ {HovercardsOFF} = 2.88 {\ text {взаимодействие на странице / сеанс}}}

Похоже, мы также наблюдаем значительные различия в каждой Википедии, причем средняя частота использования в русской Википедии заметно выше, чем в венгерской и итальянской Википедии. Эти различия могут быть вызваны большей доступностью статей и ссылок на страницы в более крупных Википедиях, хотя нам придется продолжить дальнейший анализ, чтобы обосновать это утверждение. Не было отмечено увеличения или уменьшения использования с течением времени.

Скорость отключения Hovercards [ редактировать ]

Уровень отключения Hovercards был крайне низким для всех трех протестированных Википедий, в среднем 0,02%. Чтобы подтвердить, что этот показатель не был связан с проблемами юзабилити, мы перепроверили результаты наших качественных тестов, где все протестированные пользователи без труда отключили эту функцию. Таким образом, мы можем сделать вывод, что пользователям нравится эта функция, и они не хотят ее отключать. Мы также можем сделать вывод, что эта функция не мешает пользователю читать каждую статью.

Для получения дополнительной информации о наших качественных данных: https://www.mediawiki.org/wiki/Wikimedia_Research/Design_Research/Reading_Team_UX_Research/Hovercards_Usability

Изменения глубины сеанса [ редактировать ]

Вопреки нашей предыдущей гипотезе, мы не увидели значительного уменьшения глубины сеанса во всех википедиях. Несмотря на то, что мы хотели бы продолжить изучение достоверности этих результатов, ранняя гипотеза заключается в том, что Hovercards предоставляют пользователям большую точность при открытии статьи. Таким образом, стоимость исследования новой страницы снижается, и пользователи открывают страницы, которые они ранее пропустили.

Взаимодействия на данной странице [ редактировать ]

Увеличение числа более длительных ссылок на страницу указывает на то, что пользователи с большей вероятностью взаимодействуют с другими страницами, используя функцию Hovercards, когда не требуется отходить от статьи, которую они читают. Тем не менее, наблюдаемая фиксированная доля общих взаимодействий ссылок за сеанс указывает на то, что функция может не стимулировать читателей взаимодействовать с большим количеством страниц в целом. Несоответствие между ними предполагает, что читатели могут читать дальше на каждой выбранной странице. Тем не менее, эта гипотеза должна быть подтверждена путем измерения количества времени, которое пользователи проводят на странице в Hovercards и в группах.

Примечание: мы планируем добавить этот показатель для дальнейшего анализа. Для получения дополнительной информации см .: https://phabricator.wikimedia.org/T147314

Заключение [ редактировать ]

Наборы A / B-тестов позволили нам подтвердить наши предыдущие результаты, полученные в греческом и каталонском тестах на ховеркарты. Пользователи используют функцию Hovercards с высокой скоростью, указывая, что они считают эту функцию полезной. Показатели отключения этой функции очень низки, что указывает на то, что карты Hovercard не мешают предпочитаемому пользователю чтению, а также выгодны для их текущего опыта чтения.

Изменения в взаимодействии ссылок и глубине сеанса дают нам дополнительные сведения о том, как Hovercards могут изменять рабочий процесс чтения. Эти разделы будут изучены в будущем. Основываясь на наших первоначальных результатах, мы хотели бы выяснить, просматривают ли пользователи больше страниц из-за снижения стоимости исследования других страниц. Мы также хотели бы изучить отдельные сессии пользователя, чтобы отметить другие изменения в шаблонах чтения.

Карты на ховеркартах экономят время пользователей и позволяют им углубленно изучать темы, не отвлекаясь на другие темы и не путаясь с незнакомыми ссылками.

Следующие шаги [ редактировать ]

В связи с положительными результатами выше, мы планируем продвижение Hovercards из бета начиная с небольших Википедий и заканчивая всеми соответствующими проектами Викимедиа.

Источники данных [ редактировать ]

Просмотренные карты

ВЫБЕРИТЕ вики, COUNT (DISTINCT event_linkInteractionToken) / COUNT (DISTINCT event_sessionToken) AS cards_viewed_per_session, COUNT (DISTINCT event_linkInteractionToken) / COUNT (DISTINCT event_pageToken) СОБЫТИЯ_TOCTINGTENTENTOKENTOUSTENTENTOUSTENTOUSTENTUSTENTOUSTENTENTOUSTENTOUSTENTOUSTENTUSTENTENTOUSTUSTENTUSTENTENTUSTENTUSTENTOUSTOUSTOUSTOUSTOUSE ГДЕ вики IN ('huwiki', 'itwiki', 'ruwiki') И event_isAnon = 1 И event_popupEnabled = 1 И ВЛЕВО (timestamp, 8)> = '20160925' И ВЛЕВО (timestamp, 8) <'20161030' И (event_action = 'pageLoaded' ИЛИ ​​(event_totalInteractionTime> = event_popupDelay + event_perceivedWait + 1000)) # карта видна как минимум одну секунду И INSTR (userAgent, 'Firefox') И НЕ INSTR (userAgent, 'Seamonkey') GROUP BY вики, event_popupEnabled ORD вики, event_popupEnabled;

Взаимодействие ссылок на странице (> 300 мс)

ВЫБЕРИТЕ вики, event_popupEnabled, COUNT (DISTINCT event_linkInteractionToken) / COUNT (DISTINCT event_pageToken), AS link_interactions_per_page FROM log.Popups_15906495 WHERE (event_action = 'pageLoaded' 'ИЛИ event_iki, wiki) 300 AND event_isAnon = 1 AND LEFT (timestamp, 8)> = '20160925' AND LEFT (timestamp, 8) <'20161030' AND INSTR (userAgent, 'Firefox') И НЕ INSTR (userAgent, 'Seamonkey') AND (event_action = 'pageLoaded' ИЛИ ​​event_linkInteractionToken IS NOT NULL) GROUP BY вики, event_popupEnabled

Связанные взаимодействия за сеанс (> 300 мс)

ВЫБЕРИТЕ вики, event_popupEnabled, COUNT (DISTINCT event_linkInteractionToken) / COUNT (DISTINCT event_sessionToken), AS link_interactions_per_session, COUNT (DISTINCT event_sessionToken), AS сессий, из журнала. 'itwiki', 'ruwiki') И event_isAnon = 1 И ВЛЕВО (timestamp, 8)> = '20160925' И ВЛЕВО (timestamp, 8) <'20161030' И INSTR (userAgent, 'Firefox') И НЕ INSTR (userAgent, 'Seamonkey') AND (event_action = 'pageLoaded' ИЛИ ​​event_linkInteractionToken NOT NULL) GROUP BY вики, event_popupEnabled

Отключает (верхняя граница: настройки кликов

ВЫБЕРИТЕ вики, SUM (1) AS Hovercards_shown, SUM (ЕСЛИ (event_action = 'tapped settings cog', 1,0)) AS cogtaps FROM log.Popups_15906495 ГДЕ event_popupEnabled = 1 И Вики IN ('huwiki', 'itwiki', ' ruwiki ') AND event_isAnon = 1 AND LEFT (timestamp, 8)> =' 20160925 'AND LEFT (timestamp, 8) <' 20161030 'AND event_linkInteractionToken НЕ НУЛЬ И AND event_totalInteractionTime> event_perceivedWait # т.е. карта была показана GROUP BY wiki OR ;

Количество просмотров страниц за сеанс (глубина сеанса)

ВЫБРАТЬ вики, event_popupEnabled, COUNT (*) AS pageloaded_events, COUNT (DISTINCT event_pageToken) AS pageTokens, COUNT (DISTINCT event_sessionToken) AS сессий, COUNT (DISTINCT event_pageToken) / COUNT (DISTINCT event_sessionToken) КАК page_tokens_per_session ОТ log.Popups_15906495 ГДЕ вики IN (» huwiki ',' itwiki ',' ruwiki ') AND event_isAnon = 1 AND LEFT (timestamp, 8)> =' 20160925 'AND LEFT (timestamp, 8) <' 20161030 'AND event_action =' pageLoaded 'AND INSTR (userAgent,' Firefox ') И НЕ INSTR (userAgent,' Seamonkey ') GROUP BY вики, event_popupEnabled ORDER BY wiki, event_popupEnabled;

Рейтинг кликов (для «видимых» ховеркарт):

ВЫБЕРИТЕ вики, SUM (ЕСЛИ (event_action LIKE 'открытой%', 1,0)) / SUM (1) AS clickthrough_ratio, SUM (1) AS cards_seen FROM log.Popups_15906495 ГДЕ event_popupEnabled = 1 И Вики IN ('huwiki', '' itwiki ',' ruwiki ') И event_isAnon = 1 И ВЛЕВО (timestamp, 8)> =' 20160925 'И ВЛЕВО (timestamp, 8) <' 20161030 'AND event_totalInteractionTime> event_perceivedWait + 1000 AND event_linkInteractionToken НЕ является NULL GROUP

Похожие

Комментарии