Главная · Каталог задач · Парсинг сайтов и сбор данных

Готовый сценарий

Парсинг сайтов и сбор данных

Для парсинга сайта нужен образец того HTML или ответа API, который действительно получает программа. Видимая карточка в браузере может появиться после отдельного запроса. Енотик поможет написать разбор предоставленного фрагмента и перечислить проверки. Учебный каталог из трёх карточек должен сохранить товар без цены, а не потерять его целиком. Чат не открывает сайт по ссылке автоматически и не проверяет актуальность селекторов без исходного материала.

Попробуйте прямо здесь Отвечает Gemma 3 12B — модель подобрал сервис

Открыть в полном чате

  • Доступ без VPN
  • Русский интерфейс
  • Оплата рублями по факту

Зачем

Зачем это нужно

01

Передайте фактическую разметку нескольких отличающихся карточек.

02

Определите пропуск поля, ошибку разбора и отсутствие товара как разные случаи.

03

Сверьте число уникальных карточек и полноту полей на небольшой разрешённой выборке.

Вопросы

Частые вопросы

Как составить запрос по каталогу?

«В учебном HTML три товара: Чай за 120, Кофе за 1 200 и Какао без цены. Нужны три записи, числа 120 и 1200, а у Какао null. Относительные ссылки разрешай относительно страницы». Приложите сам HTML. Попросите не придумывать селекторы по названию сайта и показать, какая часть разметки соответствует каждому полю результата.

Почему requests не видит данные, которые есть на экране?

Возможно, данные появляются после JavaScript-запроса или другого действия браузера. Сравните полученное тело ответа с нужным участком DOM и сетевым ответом. Модель поможет выбрать разбор HTML, разрешённый API или браузерный сценарий по этим материалам. Не стоит сразу добавлять браузерную автоматизацию: сначала установите, откуда фактически приходят поля, которые требуется извлечь и сохранить.

Как заметить тихие ошибки парсера?

Проверьте карточки разных форматов, последнюю страницу и повторяющиеся товары. Сохраняйте причину пропуска и адрес источника, а не только успешно разобранные строки. Для пагинации задайте условие остановки и ограничение повторного посещения. Успешное завершение процесса не подтверждает полноту: сравните небольшую выборку вручную и убедитесь, что отсутствующая цена не превращается в ноль без согласованного правила.

Какие ограничения нужно задать при сборе?

Используйте доступные вам источники с учётом условий площадки и согласованных лимитов. Предпочтите официальный экспорт или API, если они решают задачу. Попросите остановку при отказе доступа и ограничение частоты запросов, а не обход защит. Файл robots.txt не является универсальным разрешением на любые действия; конкретные права и состав собираемых данных определяются отдельно от технического кода.

Рядом

Дальше — весь каталог задач: поиск по названию, темы и фильтры.

Нужно больше

Весь Енотик — в одном окне

Полный чат: история, вложения, базы знаний, картинки и видео. Один баланс на все модели, оплата рублями по факту.