Удалить десяток-другой ссылок из индекса легко, а как насчёт ситуаций, когда речь заходит о тысячах и десятках тысяч? В особенности, если сделать это требуется срочно.
На данной теме мы и сосредоточимся в предлагаемой статье. Обсудим несколько разных способов удаления большого количества контента быстро.
Почему на первом месте по срочности избавления оказывается контент? Так случается, если:
- Наполнение сайта (или же наполнение форума) контентом произошло по ошибке.
- Вы обнаружили, что контент – в массе своей – дублируется. Копипаста не нужна никому, т.к. живо затрагивает вопрос трафа и поисковых рейтингов.
- «Панда» сочла ваш сайт низкокачественным с дальнейшими репрессиями от Гугла.
- Вы получили от поисковика предупреждение о том, что контент на вашем сайте идёт вразрез с законом.
Основные инструменты
Для устранения страниц вам понадобятся всего три инструмента:
1. NoIndex Metatag: Разместите на странице, которую нужно снести, этот код:
В следующий раз, когда бот заглянет на огонёк, он либо не проиндексирует страницу, либо удалит из индекса. Кстати, на передачу PR с этой страницы на другие – как внешние, так и внутренние – тег никак не повлияет (ещё один его плюс). Главное, не используйте вместе с ним «nofollow».
Эта схема отражает последствия применения тега ноиндекс:
2. Rel=Canonical Tag: Этот тег применяется таким образом:
С помощью этого тега вы даёте боту понять, что данная страницы – дубликат или подкатегория другой страницы (канонической), на которую эта ссылается. Возможно, поисковик предпочтёт второй вариант. А вместе с предыдущим тегом бот, вполне вероятно, и вовсе её проигнорирует. Только не делайте так, чтобы все внутренние страницы сайта ссылались таким образом на главную, иначе ваш сайт в глазах поисковых систем будет выглядеть одностраничным. К тому же, тег rel=canonical передаёт весь PR на указанную в нём страницу.
См. схему, чтобы лучше понять принцип действия тега:
3. Robots.txt: Добавление страницы или папки в список «Disallow», который присутствует в файле Robots.txt, из индекса не удаляет – просто указывает поисковикам на то, что посещать эту страницу или папку не надо. По большей части, мера эта профилактическая. Но, в сочетании с другими инструментами по удалению линков, может оказаться эффективной. В особенности, для крупных порталов.
Выглядит это так:
Важно: Не ограничивайте тегом ноиндекс страницы, перечисленные в Robots.txt! Поисковые системы и так не загрузят страницу, тега они просто не увидят.
Пользоваться с величайшей осторожностью: инструмент по удалению УРЛ
Этот инструмент предоставляется самими поисковиками, сносит как отдельные страницы, так и целые папки/сайты, а также работает действительно быстро, плюс – не нужно ждать, пока боты Гугла или Бинга снова зайдут на страницы. Но и пользоваться им надо уметь. Возникли малейшие сомнения, касающиеся способов управления этим инструментом? Отложите его на время в сторону. Это будет лучше, чем случайное удаление нужных страниц.
Но если вы всё-таки решились, найти его можно внутри гугловской панели инструментов для вебмастеров, вот здесь:
Подробная инструкция по пользованию этими инструментами изложена на следующих страницах:
- Google’s URL Removal Tool Help page
- Google: When not to use this tool
- Bing’s URL Removal Tool Help page
Ключевым моментом к удалению большого количества страниц является возможность удалить их целой папкой. Естественно, нужно заранее убедиться, что в папке-категории присутствуют лишь те страницы, которые вы и в самом деле хотите удалить, и ничего важного там не осталось.
Комбинирование инструмента по удалению ссылок с основными инструментами
Инструмент по удалению урлов убирает из индекса контент всего на 90 дней, так что процесс этот обратимый. Чтобы убедиться в перманентном удалении линков, следует предпринять некоторые дополнительные меры. По существу, вы должны применить этот инструмент вместе с одним из основным, указанных выше. См. таблицу:
Тактика |
Когда надо использовать |
URL Removal Tool, плюс Deleting Pages и All Links to them, плюс 301s to Best Fit Pages | Лучший выбор для перманентного удаления выбранных страниц. |
URL Removal Tool плюс Rel=Canonical Tagging | Выбираем, если нужно сохранить PR. Пользуемся только для удаления страниц-дубликатов или подкатегорий, ссылающихся на нужные вам страницы. |
URL Removal Tool плюс тег NoIndex | PR нужно сохранить, но тег Rel=Canonical для вашей ситуации не подходит. |
URL Removal Tool плюс DisAllow в Robots.txt | Надо уменьшить кол-во страниц, которые нуждаются в посещении поисковыми роботами. |
Выводы
Неверное использование главного инструмента по удалению ссылок может сгноить весь ваш онлайн-бизнес на корню. Доверять его следует лишь опытному специалисту.
Инструмент по удалению урлов помогает убрать большие количества страниц из одной папки либо малое число папок-фолдеров, где они скопились.