Оценка производится по скриншоту. По умолчанию считается, что все элементы работают корректно (в том числе динамические) - отзывы на элементе присутствуют, объекты с интерактивными элементами прокручиваются, новый контент динамически подгружается. Если контент элемента отображается некорректно, выберите кнопку 404 в нижней части экрана для соответствующего элемента.
На что стоит обращать внимание
Критерии оценки элементов сильно разнятся от запроса к запросу. Ниже приведены некоторые примеры аспектов, которые смогут помочь принять решение
1. Функциональность элемента
Некоторые задачи пользователя можно решить сразу на поисковой странице, не переходя по предложенным ссылкам. В таких ситуациях обращайте внимание на функциональность сравниваемых элементов, например, если пользователь ищет композицию, хорошим ответом будет музыкальный плеер с искомой композицией; для запросов про курсы валют хорошим ответом будет конвертор валют.
2. Разнообразие информации
По запросам с нечетко сформулированной целью различным пользователям может потребоваться различная информация (один из примеров - многоинтентные запросы): например, если пользователь ищет фильм, ему может быть интересно как прочитать описание фильма, так и узнать отзывы других пользователей, посмотреть трейлер и т. д.
3. Отсутствие излишней информации
В противовес предыдущему пункту, иногда важно не перегрузить поисковую выдачу лишней информацией. Под эту категорию подходят запросы, по которым слаборелевантную информацию (рел-) лучше было бы не показывать. Например, если пользователь ищет конкретный клип исполнителя, информацию о самом исполнителе пользователю скорее всего не интересна.
4. Визуальная составляющая элемента
Широкий класс запросов подразумевает красивое оформление результатов поиска. Например, если пользователь задал запрос "котики", в выдаче должны быть красивые элементы с изображениями искомых животных.
5. Релевантность элемента
Каким бы красивым и функциональным ни был элемент, если он не решает задачу пользователя, задавшего запрос, такой элемент должен быть хуже менее привлекательного, но более полезного элемента.
6. Поиск конкретного объекта (документ, факт)
На простых запросах, когда однозначно можно сказать что конкретно искал пользователь (конкретный сайт, факт, объект, товар, информацию на конкретном сайте), искомый элемент лучше всех остальных элементов, также могут оказаться полезны второстепенные источники информации об искомом объекте (например, аккаунты в соцсетях для известных брендов).
7. Доверие к источнику информации
Например, для медицинских запросов критически важно доверие к источнику информации. В таких случаях известные авторитетные ресурсы должны побеждать элементы с непроверенной информацией.
8. Уместность информации
По запросам может существует релевантная, но неуместная информация, например по запросу "как совершить суицид" инструкции по совершению суицида релевантны, но абсолютно неуместны в поисковой выдаче.
9. Нет четкой цели запроса ("позалипать"), пользователя нужно развлечь
Запросы этой категории не подразумевают наличия какого-либо конкретного ответа, пользователю интересно "позалипать" в интернете в поиске какой-либо информации об объекте запроса. Например, по запросу "новинки кино" полезны будут интерактивные элементы с недавними релизами фильмов.
Сравнение элементов с поисковой строкой
В некоторых ситуациях вам будет предложено сравнить элемент с поисковой строкой:
В таких сравнениях необходимо оценить насколько соответствует данный элемент запросу. Представьте, что в поисковой выдаче есть только предложенный для сравнения элемент и поисковая строка. Будет ли пользователь взаимодействовать с этим элементом? Или же предложенный элемент бесполезен, и пользователю придется переформулировать свой запрос? Если элемент совсем не по теме запроса, необходимо выбрать поисковую строку в качестве победителя в сравнении.