Парсинг данных с сайтов: что это и зачем он нужен

Парсинг подходит для быстрого сбора большого объема данных. Он выполняется с помощью специального инструмента — парсера. Прочтите статью, чтобы узнать, для каких целей можно использовать парсинг, что он поможет узнать о конкурентах и клиентах, как парсить данные просто и законно. Узнайте также, как пошагово парсить данные с помощью одного из инструментов.

Статья обновлена 02.02.2024.

Что такое парсинг

Парсинг — это процесс автоматического сбора и структурирования данных.

Парсеры, то есть, специальные программы или сервисы, «обходят» сайты и собирают данные, которые соответствуют заданным критериям.

Простой пример применения парсинга. Предположим, вам нужно собрать контакты потенциальных партнеров из вашей ниши. Вручную это долго: заходить на каждый сайт, искать раздел «Контакты», копировать телефон или email в таблицу. На каждый сайт уйдет 5-7 минут. Этот процесс легко можно автоматизировать при помощи парсера. Задаете в программе условия и спустя несколько минут время получаете готовую таблицу со списком сайтов и номеров телефонов. 

Преимущества парсинга

Преимущества парсинга по сравнениею с ручным сбором и сортировкой данных очевидны.

1. Быстрый сбор данных: вы получаете информацию в считанные минуты, вместо того, чтобы тратить часы на рутинную работу.
2. Точная выборка: задавайте десятки параметров, чтобы получить именно те данные, которые вам нужны.
3. Безошибочные отчеты: парсинг исключает человеческий фактор, поэтому вы можете быть уверены в достоверности информации.
4. Автоматизация: настраивайте парсинг на регулярный сбор данных, например, каждый понедельник.
5. Анализ и рекомендации: многие парсеры не только собирают данные, но и предлагают рекомендации по улучшению вашего сайта.

Цели и способы применения парсинга

Область применения парсинга можно свести к двум целям:

• анализ конкурентов, чтобы лучше понимать, как они работают, и заимствовать у них какие-то подходы;
• анализ собственной площадки для устранения ошибок, быстрого внедрения изменений и т. д.

Мы регулярно применяем парсер для анализа блога Ringostat. Например, когда нужно обнаружить все изображения без атрибута Alt. Ведь поисковые системы считают отсутствие тега недочетом и могут снизить рейтинг сайта, если подобных иллюстраций становится слишком много. Ручной поиск таких картинок занял бы массу времени. Но благодаря парсеру мы можем получить список всего за несколько минут.

Теперь давайте рассмотрим для каких целей еще можно использовать парсинг.

1. Проводить исследования рынка. Анализировать стратегии конкурентов, быстро оценивать товары и цены конкурентов, сравнивать ассортимент и предложения.
2. Отслеживать динамику изменений. Регулярный парсинг поможет оценить, как менялись какие-то показатели. Например, росли или падали цены, изменялось количество онлайн-объявлений или сообщений на форуме.
3. Устраненять ошибки на собственном ресурсе. Выявлять и исправлять ошибки в мета-тегах, битые ссылки, неправильные редиректы, дублирующиеся элементы и т. д.
4. Собирать ссылки, ведущие на ваш сайт. Это поможет оценить работу подрядчика по линкбилдингу. Раньше мы писали, как проверять внешние ссылки и какими инструментами это можно сделать, в статье. Пример отчета: 
5. Наполнять каталог интернет-магазина. У сайтов такого типа обычно огромное количество товаров, и составление описаний для каждого из них требует немало времени. Чтобы упростить этот процесс, можно использовать парсинг зарубежных магазинов, а затем просто переводить описания продуктов.
6. Составлять клиентскую базу. В таких ситуациях можно парсить контактные данные, например, от пользователей в социальных сетях или участников форумов. Но важно помнить, что собирать информацию, которой нет в открытом доступе, незаконно.
7. Собирать отзывы и комментарии на форумах, в социальных сетях.
8. Создавать контент, основанный на выборке данных. Например, результаты спортивных состязаний, данные исследований, инфографика динамики цен, рейтингов, спроса, погоды.

Кстати, недобросовестные люди могут задействовать парсеры для DDOS-атак. Если начать парсинг сотен страниц одного сайта одновременно, это может временно «положить» его. Конечно, такие действия незаконны — подробнее об этом ниже. Хорошо, что от DDOS-атак можно защититься, если на сервере установлена соответствующая защита.

Что могут узнать конкуренты с помощью парсинга

В принципе, конкуренты могут парсить любую информацию, размещенную на вашем сайте. Чаще всего ищут:

• цены;
• контакты;
• описание товаров, характеристики, другой контент;
• фото и видео;
• информацию о предложениях и скидках;
• отзывы.

Кстати, не только конкуренты могут проводить подобную «разведку». Например, журналист может исследовать, действительно ли интернет-магазины предлагают реальные скидки во время Черной пятницы. Или они искусственно завышают цены незадолго до этого события, чтобы затем представить обычные цены как скидки. Для этого журналист может заранее собрать цены из десятка интернет-магазинов, а потом — сравнить с «акционными» ценами Черной пятницы.

Законность парсинга сайтов

Если кратко, то совершенно законно парсить информацию, которая есть в открытом доступе. Логично, ведь любой человек и без парсера может собрать интересующие данные вручную.

А вот что незаконно:

• парсинг для DDOS-атаки;
• сбор личных данных пользователей, которые не находятся в открытом доступе, например, в личном кабинете сервиса, в локальной памяти браузеров;
• парсинг для кражи контента — поиск и публикация статей других авторов под собственным именем, использование авторских фотографий без разрешения, если они не взяты из бесплатных источников;
• сбор информации, которая является государственной или коммерческой тайной.

Рассмотрим это подробнее с точки зрения законодательства Украины.

Согласно ЗУ «Об информации», информация отличается по режиму доступа. Она делится на:

• общедоступную информацию;
• информацию с ограниченным доступом.

В свою очередь, информация с ограниченным доступом может быть конфиденциальной, служебной и государственной тайной.

Определения каждого вида информации содержатся в ЗУ «О доступе к публичной информации.

Большинство споров о незаконном парсинге и/или распространени информации касается именно конфиденциальных данных.

1. Информация о физическом лице, которая может его идентифицировать, по умолчанию является конфиденциальной. Использовать ее можно только по согласию владельца. Поэтому, чтобы парсинг был законным, необходимо либо использовать деперсонифицированные данные, либо получить согласие от владельца сайта, где пользователь зарегистрирован.
2. Если речь идет об информации, которая не является персональной, она может быть считается конфиденциальной, только если владелец сайта определит ее как таковую. Обычно на сайтах публикуют политику конфиденциальности или правила пользования, где указаны права и обязанности пользователей, которые должны быть соблюдены. Поэтому перед парсингом важно проверить, не запрещен ли сбор информации и использование данных с сайта.

Чтобы парсинг не нарушал авторских прав, важно знать нормы, установленные ЗУ «Об авторских и смежных правах» и ГКУ. Любой тип контента защищен авторским правом с момента создания. И только автор определяет, как можно использовать его творение:

• как: платно/бесплатно;
• где: статья/сайт/реклама;
• сколько: на протяжении срока действия лицензии/бессрочно.

Даже если парсинг проводится законно, он не должен мешать нормальной работе сайта, который анализируется. Если из-за парсинга произойдет сбой, утечка или подмена данных, такие действия могут рассматриваться как незаконное вмешательство в работу сайта, что является нарушением Уголовного Кодекса Украины.

И еще кое-что. Предположим, что одна компания вложила значительные усилия и ресурсы в разработку продукта, создание базы пользователей. А другая компания просто скопировала всю информацию и за несколько недель запустила идентичный сервис или продукт. При наличии достаточного доказательства такие действия могут быть расценены как нарушение правил конкуренции согласно ЗУ «О защите от недобросовестной конкуренции».

Выбор программы для парсинга

В сети можно найти достаточно много программ для парсинга. Они могут находиться в «облаке» или «коробке»:

• облачная версия — это SaaS, для использования сервиса нужно зарегистрироваться и работать прямо в браузере;
• коробочная версия — решение, которое нужно установить на ваш компьютер, и работать в программе. 

В обоих случаях вы платите за доступ к парсеру в течение какого-то времени. Например, месяца, года или нескольких лет.

Этапы парсинга

Если не погружаться в технические подробности, то парсинг строится из таких этапов:

1. Пользователь устанавливает в парсере условия, которым должна соответствовать выборка, например, все цены на определенном сайте.
2. Программа просматривает сайт или несколько сайтов и собирает актуальную информацию.
3. Собранные данные сортируют.
4. Пользователь получает отчет, который может включать контрастно выделенные критические ошибки, если они обнаружены.
5. Отчет можно экспортировать в нужном формате. Обычно парсеры поддерживают несколько различных форматов файлов.

Как парсить данные

Теперь рассмотрим, как парсить данные. Разберем процесс на примере распространенной задачи менеджера — собрать базу для «холодного» обзвона. В качестве инструмента используем парсер Netpeak Checker, с которым работаем и мы сами.

Предположим, наша компания занимается продажей оборудования для салонов красоты. Нашему сотруднику нужно создать базу контактов компаний, чтобы связаться с ними и предложить товар. Как правило, в начале работы у менеджера нет готового списка подобных потенциальных покупателей. Поэтому для поиска можно использовать встроенный инструмент «Парсер поисковых систем» в программе.

Вводим в нем нужные запросы — «салон красоты», «парикмахерская», «бьюти-процедуры».

1. На вкладке «Настройки» выбираем поисковую систему
2. Указываем желаемое количество результатов — например, топ-10 или все результаты выдачи.
3. В дополнительных настройках указываем язык выдачи.
4. Определяем параметры геолокации, чтобы в результаты попадали только салоны красоты только из нужного региона. 
5. Сохраняем настройки. Нажимаем «Старт», чтобы начать парсинг.

Чтобы провести парсинг номеров телефонов с главных страниц найденных сайтов, нажимаем на кнопку «Перенести хосты». После этого ссылки отобразятся в основной таблице программы.

Теперь, когда у нас есть полный список салонов, на боковой панели в разделе параметров «On-Page» отмечаем пункт «Телефонные номера» и нажимаем «Старт». Все найденные телефоны с сайтов и их число будут внесены в соответствующих колонках основной таблицы результатов.

Если бы у нас заранее был собран перечень необходимых адресов, мы могли бы их просто загрузить в программу и точно так же собрать телефоны.

Сохраняем данные в формате CSV, нажав кнопку «Экспорт».

Вот и все — мы получили список салонов и их телефонов.

Кстати, сэкономить время можно не только за счет парсинга, но и благодаря оптимизации процеса обзвона. Обычно менеджер тратит где-то минуту, чтобы набрать номер на телефоне. Если в списке хотя бы 50 компаний, на это уйдет почти час рабочего времени. Но есть способ тратить на набор номера всего секунду. Это приложение Ringostat для звонков и работы в CRM. Звоните, просто нажав на номер, расположенный на сайте, в таблице, в карточке CRM.

Подключите Ringostat и сможете обзвонить базу за минимальное время. При желании базу контактов можно сразу перенести в CRM и звонить уже оттуда с помощью приложения Ringostat.

Этот процесс описан в статье «Лайфхак для менеджера: как подготовить базу за минимальное время». 

Как защитить сайт от парсинга

Как уже упоминалось ранее, парсинг не всегда применяется для добросовестных целей. Если вы опасаетесь возможной атаки со стороны конкурентов, можно обеспечить защиту платформы. Существует несколько способов.

1. Ограничьте количество действий, которые можно выполнить на вашей платформе за определенный период времени. Например, разрешите только три запроса в минуту с одного IP-адреса.
2. Мониторьте подозрительную активность. Если вы заметили большое количество запросов с одного адреса, заблокируйте его. Или показывайте reCAPTCHA, чтобы убедиться, что пользователь — человек, а не бот или парсер.
3. Обратите внимание на одновременные или идентичные запросы, поступающие с разных IP-адресов. Парсинг может быть распределенным, например, через прокси-серверы.
4. Введите систему учетных записей, чтобы разрешить действия на сайте только зарегистрированным пользователям.
5. Идентифицируйте пользователей по их поведению на сайте. Например, по скорости заполнения формы или месту на странице, где кликают.
6. Скройте информацию о структуре сайта и предоставьте доступ к ней только администратору.

В любом случае, помните, что всегда есть риск заблокировать реального пользователя, а не программу. Поэтому тут вам решать, что важнее — безопасность сайта или риск потери потенциального клиента.

Выводы

1. Парсинг — это процесс сбора и организации данных согласно определенным критериям.
2. У парсинга есть множество преимуществ: скорость, точность в выборке и возможность регулярного обновления. Кроме того, многие парсеры не только собирают данные, но и предлагают рекомендации по устранению критических ошибок на вашем сайте.
3. Парсинг применяется для анализа конкурентов, изучения рынка, обнаружения и исправления ошибок на вашем ресурсе, а также создания контента. Интернет-магазины используют парсинг для перевода описаний товаров с зарубежных площадок.
4. Парсинг абсолютно законен, если вы собираете информацию, доступную для общего пользования. Однако нельзя использовать его для атак на сайты конкурентов, кражи контента или получения данных, которые не предназначены для общего доступа.
5. Если вы беспокоитесь о возможной атаке на ваш сайт через парсинг, вы можете обнаружить и запретить его. Существует несколько способов это сделать, хотя многие парсеры утверждают, что могут обойти эти ограничения. Тем не менее, всегда существует риск заблокировать доступ «живого» пользователя.