Создать парсер, который: Извлекает данные товаров (название, цена, ссылка) из заданной URL-вкладки

Дата публикации: 10.06.2025 08:08:49
Бюджет: 2000 руб
Создать парсер, который: Извлекает данные товаров (название, цена, ссылка) из заданной URL-вкладки Sportmaster.ru. Обрабатывает все страницы категории (пагинация). Загружает данные в Google Таблицу при каждом запуске. Технические требования Извлекаемые данные: Название товара. Цена. + ПЕРЕЧЕРКНУТАЯ цена (если такая есть) Ссылка на товар. Пагинация: Парсер должен автоматически переходить на все страницы категории, пока не соберет все товары (например, 55 товаров → 2 страницы). Динамический контент: Использовать инструмент с рендерингом JavaScript (например, Selenium), чтобы корректно обрабатывать AJAX-подгрузку товаров. Фильтры и сортировка: Учитывать параметры в URL (например, sortType=BY_PRICE_DESC, фильтр по бренду). Обновление данных: Google Таблица полностью перезаписывается при каждом запуске парсера. Обработка ошибок: При недоступности сайта выводить сообщение: «Сайт временно недоступен. Попробуйте позже». Повторять запрос 2-3 раза с интервалом 10 секунд. Google Таблица: Столбцы: Название | Цена | Ссылка. Доступна по ссылке для всех, кому предоставлен доступ. Инструменты: Язык: Python (или другое. Не критично, главное результат в виде рабочего скрипта) Библиотеки: Selenium (для рендеринга JS), BeautifulSoup (для парсинга), gspread (для работы с Google Sheets API). Облачный запуск: Развернуть парсер на Heroku/Google Cloud с простым интерфейсом для ввода URL. Скорость и задержки: Добавить случайные задержки между запросами (3-7 секунд) для избежания блокировки. Передача ссылки: Через веб-интерфейс (например, Flask-форма), куда пользователь вставляет URL. Google Sheets API: Настроить аутентификацию через сервисный аккаунт. Пример структуры таблицы: Шаблон. CAPTCHA/анти-бот: Использовать прокси-серверы (например, ScraperAPI) для обхода блокировок. Логирование: Не требуется. Инструкция для разработчика Стек: Python + Selenium (с ChromeDriver). Веб-интерфейс: Flask/Django для облачного доступа. Алгоритм работы: Пользователь вводит URL категории (например, https://www.sportmaster.ru/catalog/...) Парсер: Определяет общее количество товаров и страниц. Переходит по всем страницам, извлекая данные. Сохраняет данные напрямую в Google Таблицу через API. Пример кода (парсинг страницы): python Copy from selenium import webdriver from bs4 import BeautifulSoup import time def parse_page(url):     driver = webdriver.Chrome()     driver.get(url)     time.sleep(5)  # Ожидание загрузки JS     soup = BeautifulSoup(driver.page_source, 'html.parser')     items = soup.find_all('div', class_='product-card')     data = []     for item in items:         name = item.find('a', class_='title').text.strip()         price = item.find('span', class_='price').text.strip()         link = item.find('a', class_='title')['href']         data.append([name, price, f" https://www.sportmaster.ru {link}"])     driver.quit()     return data Деплой: Настроить Flask-приложение на Heroku с формой для ввода URL. Добавить переменные окружения для Google Sheets API. Результат Готовая облачная система, где пользователь: Вставляет ссылку на категорию Sportmaster.ru. Запускает парсер. Получает обновленную Google Таблицу с данными. ___ Если работа будет завершена успешно и быстро предложу переход к следующему заданию (будет динамический парсинг, то есть если товар на сайте Спортмастер поменял цену цена в таблице меняется сама и приходит какое-либо уведомление об этом, например в телеграм)
Источник: www.fl.ru
Число просмотров: 2

Еще проекты:

Настройка BarTender, импорт данных из Excel

Подключить Excel-файл заказов как источник данных Настроить шаблон этикетки в BarTender (или другой подходящей программе) На этикетке должны быть: ▸ Название компании ▸ Имя сотрудника компании ▸ Вид товара ▸ Наименование товара ▸ Количество (должно задавать число копий) Рекомендации по выбору термопринтера  Настроить печать через термопринтер Желательно автоматизировать процесс: выбрать файл → нажать "печать" → всё готово Формат работы: удалённо

Доработка проекта по Парсингу Steam

Стэк: Django Rest Framework, PostgreSQL, Celery, Redis. все подробности и техническое задание высылаю лично

Задача по 1С УТ (Бюджет: 25000 руб)

Перенести все номенклатуры и папки со связанными справочниками 1С УТ 11.0.9.15 в последнюю типовую 1С УТ 11.5. Сделать в формате КД 2. Тут нужно перенести без постоянного обмена.

Разработка сайта

Разработать такой же сайт, как и http://www.otzovik.ru и http://www.irecommend.ru Основная задача этого сайта размещать отзывы от компаний и граждан. Если можно полностью скопировать один из этих сайтов, то это тоже можно рассмотреть. Необходима админ панель для удобства работы и настроек.

Визуализации с подбором дом 60м2 (Бюджет: 36000 руб)

Необходимо сделать визуализации дома под сдачу, 60м2 один этаж, в стиле русской усадьбы, референсы по ссылке https://pin.it/nLyAVy2By . Рассматриваем варианты свободных дизайнеров, кто готов завтра начать, у кого есть аналогичные проекты в портфолио. Стоимость 600₽/м2. Пришлю план и арх проект дома с тех заданием в переписке.