В статье разберем, что значит noindex и nofollow, в каких случаях использовать.
Страницы не «автоматически» появляются в индексе поисковой системы. Для этого они должны быть проиндексированы роботами Google или Яндекса, также известными как поисковые роботы, которые просматривают интернет и индексируют найденные страницы.
Как работают поисковые роботы Google и Яндекс
Цель роботов — перемещаться между веб-страницами и добавлять их в индекс Google или Яндекса. Они перемещаются с одного URL на другой, используя ссылки на них.
Однако у каждого сайта есть краулинговый бюджет, определяющий количество URL-адресов, которые боты могут сканировать за одно посещение. Как только сканер оказывается на сайте, он остается там до тех пор, пока все страницы не будут проиндексированы или не будет исчерпан краулинговый бюджет.
Что такое атрибуты noindex и nofollow
Однако бывают ситуации, когда не нужно, чтобы роботы индексировали подстраницу или переходили по ссылке. В таких ситуациях используются атрибуты noindex и nofollow.
Это кодовые теги, содержащие информацию, предназначенную для роботов. Используя их, можно влиять на поведение ботов, когда они попадут на сайт. В то время как rel noindex указывает поисковым роботам не индексировать определенную страницу, nofollow говорит им не переходить по ссылке.
Когда используют атрибуты noindex и nofollow
Не в каждой ситуации нужно, чтобы подстраница веб-сайта находилась в индексе Google (Яндекс) или чтобы ее посещали и оценивали боты.
Некоторые подстраницы могут негативно повлиять на оценку всего веб-сайта или должны отображаться только в определенном контексте. Использование метатегов также может быть целесообразным в ситуации, когда веб-сайт очень большой и содержит некоторые адреса, которые не следует включать в индекс.
Noindex — когда и как использовать
Когда поисковый робот, индексирующий сайт, достигает noindex, он не добавит указанный URL. В результате подстраница никогда не появится в результатах поиска Google (Яндекс).
Метатег можно разместить в коде сайта одним из двух способов:
- В HTML-коде.
- Заголовок HTTP в виде метатегов X-Robots-Tag.
Независимо от того, как вы это реализуете, тег будет вести себя одинаково.
Кроме того, можно использовать файл robots.txt, чтобы сообщить роботам, что вы не хотите, чтобы они индексировали данную подстраницу.
Nofollow-ссылки
Может показаться, что атрибут nofollow поисковика менее важен, чем noindex — что может быть более решительным действием, чем запретить роботам индексировать конкретную подстраницу? Однако недооценивать второй атрибут не стоит. Nofollow информирует поисковых роботов не вводить конкретную ссылку или набор ссылок на странице.
Причина, по которой nofollow играет очень важную роль при создании веб-сайта, заключается в важности создания ссылок для SEO. Ссылки используются поисковыми роботами для навигации и перемещения по веб-сайту и влияют на его оценку. Если вы поместите команду в содержимое страницы, что боты не должны переходить по данной ссылке, они не будут оценивать подстраницу за ней.
В результате nofollow может иметь тот же эффект, что и метатег noindex. Если вы запретите роботам переходить по всем ссылкам, ведущим на вашем сайте, на определенную подстраницу, у них не будет способа туда попасть, а, следовательно, и ее проиндексировать.
Если вы хотите понять, как это работает, следует знать о существовании такого явления, как ссылочный вес. Это ценность, которую дает качественная ссылка на ваш веб-сайт, положительно влияющая на оценку Google и Яндекс. Если ссылки ведут на ваш портал, вы получаете ссылочный вес. Когда вы ссылаетесь на другую страницу, эта страница получает его.
Внутри страницы этот тег используется, потому что он говорит сканерам не заходить на подстраницы, которые не имеют отношения к процессу позиционирования веб-сайта.
Рекомендации
Рекомендуется тщательно подумать об использовании метатегов.
Хотя во многих случаях использование noindex и nofollow может быть выгодным, стоит тщательно обдумать действия. Следует помнить, что их использование лишит подстраницу возможности отображения в рейтинге Google (Яндекс), а значит — не позволит войти на ваш сайт. Любое использование атрибутов должно быть преднамеренным и тщательно продуманным.
Когда поисковые роботы Google (Яндекс) обнаруживают один из описанных атрибутов, они рассматривают URL-адрес так же, как ошибку 404, и перестают регулярно его посещать.
Правильное использование noindex rel позволит избежать штрафов за использование дублированного контента или размещение ненужной подстраницы в результатах.
Использование HTML-метатега nofollow — это способ предложить ботам не проходить по ссылке или оценивать ее. Таким образом, вы можете повлиять на то, как сканеры перемещаются по сайту, и исключать вход на ненужные подстраницы.
