Как удалить из индекса сразу много ссылок

Удалить десяток-другой ссылок из индекса легко, а как насчёт ситуаций, когда речь заходит о тысячах и десятках тысяч? В особенности, если сделать это требуется срочно.

На данной теме мы и сосредоточимся в предлагаемой статье. Обсудим несколько разных способов удаления большого количества контента быстро.

Почему на первом месте по срочности избавления оказывается контент? Так случается, если:

1. Наполнение сайта (или же наполнение форума) контентом произошло по ошибке.
2. Вы обнаружили, что контент – в массе своей – дублируется. Копипаста не нужна никому, т.к. живо затрагивает вопрос трафа и поисковых рейтингов.
3. «Панда» сочла ваш сайт низкокачественным с дальнейшими репрессиями от Гугла.

4. Вы получили от поисковика предупреждение о том, что контент на вашем сайте идёт вразрез с законом.

Основные инструменты

Для устранения страниц вам понадобятся всего три инструмента:

1. NoIndex Metatag: Разместите на странице, которую нужно снести, этот код:

В следующий раз, когда бот заглянет на огонёк, он либо не проиндексирует страницу, либо удалит из индекса. Кстати, на передачу PR с этой страницы на другие – как внешние, так и внутренние – тег никак не повлияет (ещё один его плюс). Главное, не используйте вместе с ним «nofollow».

Эта схема отражает последствия применения тега ноиндекс:

2. Rel=Canonical Tag: Этот тег применяется таким образом:

С помощью этого тега вы даёте боту понять, что данная страницы – дубликат или подкатегория другой страницы (канонической), на которую эта ссылается. Возможно, поисковик предпочтёт второй вариант. А вместе с предыдущим тегом бот, вполне вероятно, и вовсе её проигнорирует. Только не делайте так, чтобы все внутренние страницы сайта ссылались таким образом на главную, иначе ваш сайт в глазах поисковых систем будет выглядеть одностраничным. К тому же, тег rel=canonical передаёт весь PR на указанную в нём страницу.

См. схему, чтобы лучше понять принцип действия тега:

3. Robots.txt: Добавление страницы или папки в список «Disallow», который присутствует в файле Robots.txt, из индекса не удаляет – просто указывает поисковикам на то, что посещать эту страницу или папку не надо. По большей части, мера эта профилактическая. Но, в сочетании с другими инструментами по удалению линков, может оказаться эффективной. В особенности, для крупных порталов.

Выглядит это так:

Важно: Не ограничивайте тегом ноиндекс страницы, перечисленные в Robots.txt! Поисковые системы и так не загрузят страницу, тега они просто не увидят.

Пользоваться с величайшей осторожностью: инструмент по удалению УРЛ

Этот инструмент предоставляется самими поисковиками, сносит как отдельные страницы, так и целые папки/сайты, а также работает действительно быстро, плюс – не нужно ждать, пока боты Гугла или Бинга снова зайдут на страницы. Но и пользоваться им надо уметь. Возникли малейшие сомнения, касающиеся способов управления этим инструментом? Отложите его на время в сторону. Это будет лучше, чем случайное удаление нужных страниц.

Но если вы всё-таки решились, найти его можно внутри гугловской панели инструментов для вебмастеров, вот здесь:

Подробная инструкция по пользованию этими инструментами изложена на следующих страницах:

1. Google’s URL Removal Tool Help page
2. Google: When not to use this tool
3. Bing’s URL Removal Tool Help page

Ключевым моментом к удалению большого количества страниц является возможность удалить их целой папкой. Естественно, нужно заранее убедиться, что в папке-категории присутствуют лишь те страницы, которые вы и в самом деле хотите удалить, и ничего важного там не осталось.

Комбинирование инструмента по удалению ссылок с основными инструментами

Инструмент по удалению урлов убирает из индекса контент всего на 90 дней, так что процесс этот обратимый. Чтобы убедиться в перманентном удалении линков, следует предпринять некоторые дополнительные меры. По существу, вы должны применить этот инструмент вместе с одним из основным, указанных выше. См. таблицу:

Выводы

Неверное использование главного инструмента по удалению ссылок может сгноить весь ваш онлайн-бизнес на корню. Доверять его следует лишь опытному специалисту.

Инструмент по удалению урлов помогает убрать большие количества страниц из одной папки либо малое число папок-фолдеров, где они скопились.