Главной задачей поисковой системы является предоставление наиболее релевантной поисковому запросу информации. Поскольку сайт может содержать исчерпывающий ответ на заданный пользователем вопрос, но в то же время код страницы может содержать ошибки, которые не позволят открыть страничку в браузере, на плечи поисковой системы ложится и оценка каждого представленного в поиске web-документа. В идеале, если страница № 1 и страница № 2 содержат одинаковые тексты, но страница № 1 содержит, например, незакрытые теги, более высокую оценку конечно же получит страница с номером 2.
Современные поисковые системы оценивают не только валидность HTML-кода, но и много другой информации. С каждым годом эти алгоритмы становятся более сложными и всё более совершенными. Если в 2005 году робот поисковой системы обращал внимание на число повторений конкретного слова или фразы и на основе этой статистики давал странице оценку, сейчас подобными манипуляциями высокую позицию в результатах поиска сайты получить не могут. Кроме того, алгоритмы проводят сложный анализ как текста, так и самой страницы.
Современные поисковые системы оценивают не только валидность HTML-кода, но и много другой информации. С каждым годом эти алгоритмы становятся более сложными и всё более совершенными. Если в 2005 году робот поисковой системы обращал внимание на число повторений конкретного слова или фразы и на основе этой статистики давал странице оценку, сейчас подобными манипуляциями высокую позицию в результатах поиска сайты получить не могут. Кроме того, алгоритмы проводят сложный анализ как текста, так и самой страницы.
