Взвешенные параметры выдачи

Ниже приведены графики изменение взвешенных параметров (тИЦ, число найденных страниц с сайта, доля главных страниц, доля сайтов из Яндекс-Каталога, доля найденных по ссылкам страниц) по различным выборкам из 4000 поисковых запросов. Одна выборка (например, "по сайтам из ЯК") - это примерно 400 запросов.

Как именно взвешиваем?

• Чем больше место в выдаче – тем ниже вес, меньше влияние найденной позиции
• Сумма весов (видимостей) по топ50 равна 1 - нормировка
• Сумма весов 1-10 (первая страница) вдвое выше 11-20 (вторая страница) - это соответствует статистике переходов на вторую страницу

Используем весовую функцию вес(pos)=0.074*2^(-pos/10)

В результате повышение какого-либо взвешенного параметра (например, тИЦ) может не просто означать появление тицовых сайтов в выдаче топ50, но и относительное повышение позиций тицовых сайтов относительно других сайтов в выдаче. Выводы делайте сами.

Что это за такие "парные" изменения? Так здесь считается мера изменения выдачи. Нужно сравнить вчерашнее состояние и сегодняшнее. Но, предположим, какой-то сайт из топа выдачи попал под фильтр и улетел (или наоборот, появился, или просто случайно пропал - бывает). Тогда позиции у каждого сайта ниже него - изменятся и, если мы будем сравнивать позиции каждого сайта "до" и "после", мы увидим несуществующее изменение выдачи.

Для того, чтобы от этого избавиться, мы считаем число упорядоченных пар сайтов (сайт1-сайт2) в выдаче вчера и сегодня (всего 49). Чем большее число упорядоченных пар присутствует в обоих выдачах - тем слабее изменилась выдача. Когда мы считаем взвешенное изменение - берем в качестве меры вес позиции первого участника пары.

Такой подход устойчив к случайным вылетам-влетам сайтов.

Взвешенный тИЦ по сайтам, отсутствующим в ЯК.

Взвешенный тИЦ по сайтам из ЯК

«еще с сайта» для однословных запросов

«еще с сайта» для длинных запросов

Взвешенные параметры для запросов без операторов

О выборке запросов

q_numwords - число слов в запросе

Значение очевидно, варианты - 1, 2, 3, 4, 5, 6 слов в запросе. Для "странных" запросов приписаны значения:
0 - для запросов, состоящих из операторов типа rhost, domain, mime и прочих
-1 - как и предыдущее, но эти операторы идут через оператор "или".

q_type - дополнительная объяснялка типа запроса

q_type	тип запроса
-	нет доп. объяснялки
много результатов	очень популярные слова (из стопслов или доменных зон) или операторы, по которым много результатов выдачи
много результатов с ИЛИ	то же, но еще больше (запрос состоит из нескольких фрагментов через ИЛИ)
стопслова	запросы со стопсловами
стопслов: 1	запросы с одним стопсловом
редкие	примерная оценка по частотности
обычные	примерная оценка по частотности
частотные	примерная оценка по частотности

q_textual - еще одна объяснялка типа запроса

q_textual	тип запроса
1 шт.	число стопслов
2 шт.	число стопслов
domain	запросы типа domain:com
lang	запросы типа lang:ru
mime	запросы типа mime:pdf
rhost	запросы типа rhost:ru.*
rhost фрихостинга	запросы типа rhost:ru.narod.* по фрихостам
url	запросы типа url:a*
стопслова	запрос = стопслово, пример: в, на
ссылочные	по которым много естественных НПС, пример: здесь, тут
доменное	часто встречающиеся фрагменты доменов, пример: www, com
доменные зоны	фрагменты доменов через "ИЛИ": (www | com | ...)
витальные	пример: билайн, сбербанк
дефолтные	никому не нужные слова, пример: untitled, главная
никакие	по конкурентности: никому не нужные слова
неконкурентные	по конкурентности: +
обычные	по конкурентности: ++
среднеконкурентные	по конкурентности: +++
более конкурентные	по конкурентности: ++++
конкурентные	по конкурентности: +++++

q_changetype - вариант изменения исходного запроса

По каждой комбинации факторов выше пробивается около 10 запросов. Это "исходные" запросы. Но для того, чтобы лучше видеть особенности, каждый запрос еще переформулируется с использованием операторов.

Зачем это нужно? Например, какие-то изменения произошли в учете title документа. Они, конечно, скажутся на обычной выдаче. Но если мы будем выбирать поиск запроса только по тайтлу - изменения будут видны гораздо сильнее. И наоборот, если мы исключили запрос из тайтла - изменения от ранжирования тайтлов должны быть слабыми.

Это позволяет лучше понимать смысл изменений.

Список вариантов изменений для примера приведен относительно исходного запроса скачать qip :

q_changetype	пример запроса
исх.	скачать qip
title	title:(скачать qip)
в документе	скачать && qip
в предложении	скачать & qip
в предложении в title	title:(скачать & qip)
ЕСТЬ в Я.Каталоге	(скачать qip) cat:9000000
есть все слова	+скачать +qip
кавычки	"скачать qip"
НЕТ в Я.Каталоге	(скачать qip) ~~cat:9000000
нет запроса в title	(скачать qip) ~~title:(скачать qip)
нет ни одного слова в title	(скачать qip) ~~title:(скачать) ~~title:(qip)
слово -слово	(скачать qip) -скачать -qip
точная форма	!скачать !qip
точные расстояния	скачать /(1 1) qip
фикс. вес=1	скачать::1 qip::1
фикс. вес=100000	скачать::100000 qip::100000
якобы ссылочное по словам	скачать &&/(1111 9999) qip
якобы ссылочное по фразам	(+скачать +qip) &&/(1111 9999) (+скачать +qip)
якобы текстовое по фразам	(+скачать +qip) ~~((+скачать +qip) &&/(1111 9999)
%абракадабра	скачать qip %укнмцмулктес
~~абракадабра	скачать qip ~~укнмцмулктес

Многие операторы уже или отменены, или работают не так, как надо. Например, отменился поиск по ссылочному с большим расстоянием между словами. Поиск НПС (слово -слово) тоже отменен - раньше он давал НПС-разультаты, а теперь их нет, но есть переформулировки слов запроса.

Залезая в историю (до начала 2009 года), можно понять, когда именно что отменено, каковы особенности релизов и подкруток выдачи. Только для просмотра за прошлые даты надо будет зарегистрироваться. :)