Как найти дубли на сайте

Olga Feoktistova
1 Star2 Stars3 Stars4 Stars5 Stars (4 votes, average: 4,00 out of 5)
Loading ... Loading ...
A A A

Один из важнейших аспектов технической оптимизации сайта — отсутствие дублированного контента или дублей. Это напрямую влияет на поисковое продвижение и позиции сайта в органической выдаче. Александра Метиза, контент-маркетолог Netpeak Software, рассказывает о том, что собой представляют дубли и как проводить анализ сайта на дубли при помощью различных инструментов.

анализ сайта на дубли, анализ сайта дубли страниц, дубли страниц запрос проверить в гугле

1. Что такое дубли на сайте

Дубликаты — это большие блоки информации в рамках одного или нескольких доменов, содержание которых либо полностью совпадает, либо почти не отличается. Иными словами, если один и тот же материал доступен по двум различным адресам — это и есть дубли.

 

1.1. Типы дубликатов

В рамках одного сайта могут существовать следующие типы дублей:

  • полные дубликаты страниц (идентичный HTML-код);
  • дубликаты текста (содержимое блока <body>);
  • дубликаты Title (названия страницы);
  • дубликаты Description (описания страницы);
  • дубликаты H1 (главного заголовка).

 

1.2. Причины появления дубликатов

  1. Ошибки в системе управления контентом (CMS). Если она настроена неправильно, в процессе создания новых страниц или статей могут автоматически генерироваться дубли.
  2. Генерация страниц с одними и теми же атрибутами, расположенными в разном порядке (например, /?id=1&cat=2 и /?cat=2&id=1).
  3. Версии страниц сайта для печати, не закрытые от индексации.
  4. Не настроена переадресация (301 редирект) после переезда сайта с протокола http на https. Это касается и отсутствующего редиректа на главное зеркало сайта. Например, когда сайт доступен по адресу с www. и без него, со слешем в конце и без него.
  5. Неправильная настройка и автоматическая генерация ссылок в процессе работы сайта.
  6. Случайное дублирование страницы или статьи вебмастером или контент-маркетологом.
  7. Изменение структуры сайта, вследствие которой страницам присваиваются новые адреса, а старые не удаляются.
  8. На сайте используются «быстрые» мобильные версии страниц, с которых не выставлен Canonical на основные версии.

 

2. Чем опасны дубли страниц с точки зрения SEO

Наличие дубликатов на сайте — один ключевых факторов внутренней оптимизации (или её отсутствия), который крайне негативно сказывается на позициях сайта в органической поисковой выдаче. Дубли служат причиной нескольких проблем, связанных с оптимизацией.

  1. Проблемы с индексацией.
    При большом количестве дублей поисковые роботы в силу ограниченного краулингового бюджета могут не проиндексировать нужные страницы. Также есть риск того, что сайт будет пессимизирован, а его краулинговый бюджет — урезан.
  2. Проблемы с выдачей приоритетной страницы в органическом поиске.
    За счет дублей в поисковую выдачу может попасть не та страница, продвижение которой планировалось, а её копия. Есть и другой вариант: обе страницы будут конкурировать между собой, и ни одна не окажется в выдаче.
  3. «Распыление» ссылочного веса.
    Вес страницы сайта — это своеобразный рейтинг, выраженный в количестве и качестве ссылок нее с других сайтов или других страниц внутри рассматриваемого сайта. При наличии дублей ссылочный вес может переходить не на единственную версию страницы, а делиться между ее дубликатами. Таким образом, все усилия по внешней оптимизации и линкбилдингу оказываются напрасными.

 

3. Как найти дубли на сайте при помощи подручных средств

  1. Проверить, какая версия сайта отображается после ввода адреса со слешем и без него, с www. и без www., а также с протоколами http и https. Если сайт не перенаправляет вас на какую-то одну версию сайта, то можете не сомневаться — на каждую из страниц приходится несколько дублей.
  2. Посмотреть в настройках движка, не разрешены ли внутри сайта динамические ссылки.
  3. Проверить, есть ли на сайте материалы, одновременно доступные по двум разным адресам. Такая ситуация возможна в случаях, если, к примеру, адрес статьи имеет вид site.com/category-1/article-1, а на деле она одновременно относится к категориям category-2 и category-5.
  4. Зайти в Google Search Console и выяснить, не обнаружила ли система дубли на вашем сайте.
  5. Проверить сайт на наличие дублей с помощью поисковых операторов Google. При помощи оператора site:example.com вы ограничиваете поиск исключительно страницами своего сайта, а такими операторами как intitle ограничиваете область поиска определенным структурным элементом страницы. Пример применения: site:blog.ringostat.com intitle:»Как найти дубли».

Увы, описанные выше методы не гарантируют понимания точного числа дубликатов, особенно если речь идет о частичных дублях, таких как дубликаты содержимого Meta Description и заголовка H1.

 

4. Как найти дубли, используя краулер

Для поиска всех существующих видов дублей внутри сайта вы можете использовать краулер, например, Netpeak Spider. Программа обнаружит дубликаты на сайте и идентифицирует их как ошибки средней и высокой критичности.

как найти дубли на сайте, seo дубли страниц, как избавиться от дублей страниц на сайте, сео академия проверка дублей страниц

Для поиска дубликатов необходимо выполнить ряд последовательных действий.

  1. Запустите Netpeak Spider.
  2. Откройте меню «Параметры» и выберите раздел «Продвинутые».
  3. Отметьте все пункты блока «Учитывать инструкции по индексации», а также пункт «Учитывать Rel Next/Prev». Эти настройки гарантируют, что дубли, предусмотрительно скрытые при помощи поисковых инструкций и устраненные с атрибутом Canonical, не появятся в результатах сканирования. Если скрытые вами дубли все же окажутся в списке страниц с ошибками, вы сможете обратить на них внимание и исправить проблему. как удалить дубли страниц сайта, как удалить дубли страниц на сайте,
  4. Сохраните настройки, нажав «ОК».
  5. В строке с начальным URL введите адрес сайта. Нажмите кнопку «Старт» для запуска сканирования.
  6. После завершения сканирования все обнаруженные ошибки, в том числе — связанные с дубликатами, отобразятся на боковой панели на вкладке «Отчеты» → «Ошибки». Кликните по названию интересующей ошибки, чтобы отфильтровать результаты и увидеть только список страниц, на которых она присутствует. онлайн анализ сайта на наличие дублей, как убрать дубли страниц на сайте, удалить дубли страниц сайте
  7. Для выгрузки результатов данной таблицы с отфильтрованными результатами в меню «Экспорт» выберите «Результаты в текущей таблице». Если вас интересуют все страницы с ошибками, в том же меню можно выбрать «Все ошибки».

 

Коротко о главном

Дублирование контента — как целых страниц, так и содержимого отдельных метатегов внутри них — входит в число факторов, которые оказывают негативное влияние на SEO и позиции сайта в органическом поиске. Регулярное сканирование сайта на предмет наличия дубликатов и устранение дублированного контента — дело первостепенной важности для каждого SEO-специалиста и вебмастера.

Искать дубликаты можно вручную, задействуя поисковые операторы и Google Search Console. Но лучше производить эту процедуру систематически с помощью мощного краулера, такого как Netpeak Spider. Он поможет найти все возможные виды дублированного контента внутри сайта, а также определит степень критичности наличия дублей.

бесплатная проверка сайта на дублирование кода, как убрать дубли главной страницы, найти страницы

Теги

Если вы нашли ошибку - выделите её и нажмите Ctrl + Enter или .

[sendpulse-form id="1099"] [sendpulse-form id="631"]