Коалиции крупных поисковых систем.

Данная статья представляет собой попытку обобщить данные полученные из форумов и информацию от самих поисковых систем и каталогов.

В последнее время в крупных международных поисковых системах наблюдается изменение основных критериев поиска документов.

Заметна тенденция объединения поисковых систем между собой. Теперь не достаточно иметь хороший, релевантный документ, чтобы быть в первых строках. Необходимо также работать над его продвижением во всех крупных поисковых системах. Нельзя просто создавать доорвеи (doorway, gateway pages) для каждой поисковой системы, надо присутствовать во всех поисковых базах. Такую тенденцию объединения поисковых систем можно объяснить несколькими фактами. Одним из них является появление в интернете большого количества ресурсов, предлагающих мета-поисковые технологии, отбирающих часть пользователей у “классических” поисковых систем.

В мета-поисковой технологии в качестве критериев релевантности документа используются его позиции (по одному и тому же поисковому словосочетанию) в известных поисковых системах. Преимущества такого подхода очевидны - нет необходимости собирать и обрабатывать огромную базу данных, не требуется разрабатывать сложные поисковые алгоритмы и бороться со спаммерами - все это делают крупные поисковые системы, это их головная боль. Требуется только написать достаточно простую программу, посылающую вводимые данные на несколько известных поисковых систем и обрабатывающую ответы от них. При этом качество поиска получается высоким, т.к. при таком подходе случайные результаты исключаются (хотя пропадает и часть качественных результатов).

Видимо, “Классические” поисковые системы, видимо, тоже начали использовать эту технологию, но в измененном виде - оценка популярности ресурса по количеству и качеству ссылок на него, при этом ссылками являются и результаты поиска в других поисковых системах.

Пример: AltaVista не так давно начала учитывать количество ссылок на каждый ресурс подходящий по словосочетанию. При этом ссылки искались в той же базе данных, что и сами ресурсы (т.е. в собственной базе AV), а также в известных каталогах ссылок таких как Yahoo!, Looksmart. Ссылки с обычных страниц было принято считать ссылками низкого качества, ссылки с известных каталогов - ссылками высокого качества. Разделение на ссылки высокого и низкого качества (по слухам, оно организованно в виде баллов от 1 для ссылки с обычной страницы и до 200 для ссылки с Yahoo!) сделано для защиты от “накручивания” этого параметра ссылками со множества сайтов, сделанных только ради ссылки на основной сайт. В настоящее время AltaVista использует также результаты работы других поисковых систем - она посылает введенное поисковое слово или словосочетание на Google и результаты Google использует как ссылки высокого качества (из того же непроверенного источника - до 1000 баллов за первое место в результатах Google).

Описание взаимодействия между крупными поисковыми системами

1. AltaVista является одним из самых популярных международных поисковых сервисов. Изначально AltaVista была просто поисковой системой с собственным пауком (scooter), автоматически собирающим информацию, обходя сайты по ссылкам. В настоящее время в нее включен еще и каталог ресурсов от Looksmart. Попадая на главную страницу AV, пользователь может провести поиск по базе поисковой системы (Web Page Search) или по базе каталога ресурсов (AltaVista Directory). Каталог ресурсов предоставляется AltaViste одним из крупнейших представителем этой отрасли - Looksmart. Базы, видимо, хранятся в разных местах и периодически синхронизируются. Прописаться в этом каталоге можно как со страницы на AV, так и со страницы на LookSmart, причем на одинаковых условиях (за деньги).

Имеется информация, что на релевантность документа с точки зрения AV влияют следующие факторы:

А) поля html-документа keywords, title, description, body text и т.д.;