Коммерческие запросы имеют высокую конкурентность, и с ростом позиций наблюдается рост показателей сайта. Вебмастера в коммерческих тематиках большое внимание уделяют оптимизации контента и покупке ссылок. В результате, если оценивать сайты с позиции текстовой релевантности и входящей ссылочной массы на них, мы получаем, что коммерческие сайты в топ-10, как правило, равны между собой по этим показателям. Более того, ассессоры с большой долей вероятности также поставят значения высокой релевантности таким конкурентным сайтам, так как их оценочные инструкции ориентированы главным образом на оценку именно релевантности документов. Т. о. любые изменения позиций сайтов в топ-10 поисковых результатов не приведут к изменению в оценке качества.
Из-за специфики метрик поисковых систем многие вебмастера забыли об оптимизации сайтов для пользователей. Тогда как удовлетворение пользователя коммерческими сайтами может сильно отличаться. И такие составляющие, как дизайн, доступность обратной связи, отзывы пользователей и др. оказывают существенное влияние на пользователей.
Эти наблюдения привели к идеи использовать информацию о качестве сайтов в ранжировании коммерческих запросов.
В принципе уже существуют работы, в которых авторы предлагают использовать оценки качества сайта и их интеграцию с алгоритмами ранжирования. Критерии, характеризующие удобство пользования, доверие, дизайн и т.д. должны основываться на удобстве пользования сайтом целиком. Такими критериями могут выступать длина текста, наличие ошибок в контенте, удобство чтения тайтлов, доступность карт и схем проезда, информация о компании, запоминаемость телефонных номеров, наличие бесплатной доставки и т.д.
Также существуют работы, в которых авторы предлагают подходы к использованию дополнительной информации для ранжирования сайтов. Например, агрегирование оценок из нескольких источников: экспертных оценок и кликовых факторов, или текстовой релевантности и даты публикации документов.
В данном случае предлагается новый метод в качественной оценки сайтов, который включает в себя новые аспекты релевантности. На основании ряда качественных аспектов был сформулирован обобщенный рейтинг, который получил название «коммерческая релевантность».
Для оценки качества сайтов по запросом с коммерческим интентом можно было бы использовать как экспертные оценки, так и данные кликовых факторов. Было решено использовать оценки асессоров, т.к. они производят меньше шума в данных в сравнении с кликовыми факторами или значениями по тулбару.
Когда используются данные по тулбару или кликовые данные, бывает очень трудно спрогнозировать будет ли пользователь удовлетворен поисковым результатом. Поведение пользователей по коммерческим запросам может значительно меняться в зависимости от запроса: категории продукта, его цены и т.д. (для примера можно сравнить [заказать пиццу] и [купить объектив для камеры]). С другой стороны, тулбарные и кликовые факторы могут быть полезны, поэтому данная информация была предоставлена асессорам во время оценивания.
В случае единой шкалы качества разные асессоры могут сфокусировать свое внимание на различных аспектах качества. Кто-то может знать сайт и поэтому к нему будет высокое доверие, несмотря на ужасный дизайн и слабое юзабилити. Для другого асессора будет важно наличие пользовательских отзывов и так далее. В целях лучшей формализации процесса оценивания, понятие качества сайтов было разделено на несколько компонентов.
Основываясь на данных различных исследований, был сформирован расширенный список факторов коммерческого ранжирования. Затем данные факторы были выделены в 4 группы: доверие, юзабилити, качество дизайна и качество обслуживания.
Для данных факторов была сформирована четкая инструкция асессорам по оцениванию коммерческих сайтов. В соответствии с этой инструкции оценивание происходит в 2 этапа. Сначала асессор должен определить релевантен ли документ запросу. Для этого используется широко распространенная 5 балльная система:
Оценка качества сайта — более сложный процесс и более затратный по времени. Частично это компенсируется тем, что оценка качества сайтов осуществляется только для релевантных запросу сайтов.
Также не учитываются документы, получившие оценку «полезный» и «витальный», т.к. предполагается, что такие документы, как правило, являются конечной и единственной целью поиска. То есть оценка качества применяется для релевантных документов примерно равных между собой.
Также на первом этапе оценивания учитываются разнообразие продукции (ассортимент) и сервисное обслуживание на конкретной странице. Для разнообразия ассортимента существует шкала с 3 градациями: маленький, средний, большой.
На втором этапе оценивания учитываются доверие, юзабилити, качество дизайна и качество обслуживания на всем сайте целиком. Доверие и качество обслуживания имеют шкалу оценки с 4 градациями: спамный, нормальный, хороший, отличный.
Сайт помечается как «спамный», если он не дает возможность заказать товар или услугу. Сайты с оценкой «нормальный» не являются плохими или хорошими, но при этом они не отличаются от тысячи других таких же коммерческих сайтов. «Хорошие» сайты предоставляют пользователям стандартный набор сервисов. И наконец «отличные» сайты — это хорошо известные лидеры рынка.
Юзабилити и качество дизайна имеют шкалу из 3 градаций: плохой, хороший, отличный.
Для лучшего прогнозирования нового значения релевантности, которое включает в себя оценку общей релевантности и оценку качества коммерческих сайтов, были введены новые факторы:
Нужно заметить, что большая часть факторов из списка — это доменные факторы и информация по ним агрегируется из всех документов сайта.