В данном уроке мы поговорим о том, что такое индексация сайта, разберемся почему она так важна. Также мы поговорим о том, что необходимо сделать для того, чтобы сайт стал появляться в результатах поиска поисковых систем и рассмотрим советы для правильной индексации.
Индексация сайта
Итак, что же такое индексация сайта? Под индексацией сайта понимается процесс обхода поисковыми роботами страниц сайта. В процессе индексации информация о содержимом конкретных страниц сайта заносится в базу данных поисковой системы. База данных поисковой системы хранит текст страницы, изображения, исходящие ссылки и т.д. Таким образом, сайт может появиться в результатах поиска только после того, как его проиндексирует поисковая система.
Для того, чтобы поисковая система узнала о существовании вновь созданного сайта существует два пути или способа:
1. Ручное добавление сайта через специальную форму поисковой системы. О том, как добавить сайт в поисковые системы вручную читайте здесь. В данном случае, мы сами сообщаем поисковой системе о новом сайте. В результате этого сайт попадает в очередь на индексацию поисковой системой. При ручном добавлении сайта необходимо указывать только главную страницу сайта (морду). Все остальные страницы будут найдены поисковой системой по ссылкам меню, карты сайта и т.д. Данный способ, как правило, требует от нескольких дней до 2−3 недель времени.
2. Самостоятельное нахождение сайта поисковой системой. Этот способ работает в случае, если сайт имеет хотя бы одну активную ссылку с любого другого ресурса, посещаемого поисковым роботом. Соответственно, чем большее количество ссылок имеет сайт, тем больше вероятность того, что поисковик в скором времени его найдет. Рекомендуется использовать именно этот способ — получить несколько внешних ссылок и дождаться прихода поискового робота на сайт. В данном случае, индексация сайта поисковыми системами может быть ускорена.
Советы для правильной индексации
Время индексации сайта зависит от конкретной поисковой системы. Как правило, индексация сайта может занять от нескольких дней до нескольких недель. Быстрее всех индексация сайтов происходит у поисковой системы Google.
Для правильной и оперативной индексации необходимо учитывать следующие моменты:
1. Необходимо использовать карту сайта. Карта сайта — это одна из страниц сайта, которая выполняет роль «содержания» обычной книги. Она позволяет поисковым системам получить быстрый доступ ко всем страницам сайта. О том, как создать карту сайта можно почитать здесь.
2. Поисковые системы индексируют не более 100−200 кб текста на странице. Поэтому, в случае, если страница имеет более большой объем текста, проиндексируется только начало страницы (верхняя часть, первые 100−200 кб текста).
3. Поведением поисковых роботов можно управлять с помощью файла robots.txt, в котором можно запретить для индексации определенные страницы сайта.
4. Определенные части страницы могут быть скрыты от индексации с помощью тега <noindex> и конструкции <rel="nofollow">, которые запрещают индексацию, соответственно, в поисковых системах Яндекс и Google.
5. Поисковые системы периодически обновляют свои базы. Записи базы данных поисковиков могут изменяться, исчезать и снова появляться, поэтому количество проиндексированных страниц конкретного сайта может тоже меняться.
6. Бывают случаи, когда из индекса поисковой системы выпадают те или иные страницы сайта. Причин того, что одна или несколько страниц сайта выпали из индекса поисковой систем может быть несколько. Одна из наиболее распространенных — недоступность сервера (хостинга) во время прихода поискового робота на сайт.
7. Нужно помнить простое правило — чем больше внешних ссылок имеет сайт, тем быстрее происходит его индексация поисковыми системами.
8. Для того, чтобы отследить процесс индексации сайта можно с помощью анализа лог-файлов сервера, в которых производятся записи о времени и дате захода поисковых роботов на сайт.
Метки: 