Парсинг сайтов и Android приложений автоматизация ручного сбора данных
Свежие данные на заказ: с динамических JS‑страниц (с капчей) и статического HTML, Android - очищаю и сохраняю в удобном формате на выбор JSON, CSV, EXCEL, SQL
Извлечение меню, цен, акций ресторанов
Сбор товаров из мобильных приложений
Извлечение курсов валют, котировок
Сбор товаров, цен, описаний, характеристик
Сбор статей, заголовков, дат публикации
Сбор постов, комментариев
Сбор объявлений с ценами, фотографиями, характеристиками
Сбор объектов по близости
Кто обращается
Исследования рынка и конкурентов, сравнение предложений, отзывы и динамика рейтингов
Мониторинг цен и ассортимента конкурентов, анализ карточек товаров
Структурированные наборы данных, аналитика рынка
Проверка гипотез, анализ ниш, оценка объемов и трендов рынка
Аудит условий интеграций у партнёров, проверка размещений и ссылок
Что спрашивают
В структурированном виде для дальнейшей обработки в формате CSV, JSON, EXCEL (XLSX), TXT, SQL, XML и другие
Консультация по использованию и доработке
Стадии взаимодействия
Заказчик составляет задание
По запросу - предоставляется помощь в виде консультации с почасовой оплатой
Получение запроса
Заказчик направляет задание
Базовое изучение задания специалистом
Обсуждение задания
В случае достижения договорённости относительно задания определяются примерные сроки выполнения и стоимость работ
Внесение оплаты заказчиком
В соответствии с условиями
Техническое планирование
Выбор инструментов и архитектуры решения
Разработка и запуск парсера
Создание инструментов для извлечения данных, в это время могут выявится новые особенности, потому заказчик может быть осведомлен о более конкретных сроках, так же заказчику могут быть предложены иные варианты решения его задачи
Тестирование исполнителем
Проверка результата на соответствие заданию
Создание результата
В согласованном формате данных
Отправка заказчику на проверку
По требованию, предоставляется около 10% тестовых данных от найденного объема для проверки столбцов, формата, фильтрации
Оплата
В соответствии с условиями
Предоставление готового результата
Данные в согласованном формате
Поддержка
В соответствии с условиями
Стоимость и сроки
Цена зависит от структуры сайта, наличия авторизации/капчи, антибот‑защиты, объёма и частоты обновлений, формата выгрузки и интеграций
Варианты оплаты
- Без бюрократии
- Выдача чека
- Быстрый старт
- Договор, счет, акт
- Расчётный счет
Для старта
-
URL адрес целевого сайта или Android приложения
например: https://мой-сайт.com/
-
Описание нужных данных
например: карточки товара по ссылке (заголовок и цена) + изображения
-
Формат данных на выходе
например: в формате CSV
-
Примерный объем данных
например: первые 1500 штук
-
Цели использования
например: исследование в университете
-
Сроки
например: нужно сделать в течение 2ух недель
-
Кто платит
например: оплачивать будет организация
-
Бюджет
например: бюджет на задачу 30 тыс рублей
-
Структура выходных данных
например: Excel файл с примером желаемых столбцов
-
Описание особенностей сайта или приложения
например: доступ из определенной страны, капча при частых запросах, требуется аккаунт, его предоставлю
-
Способ хранения файлов
например: для изображений предоставляю S3 хранилище
Политика правок
- Подробные и явно описанные детали, согласованные в файлах или сообщениях до определения цены — дорабатываются бесплатно.
- Любые изменения/дополнения/пожелания выявленные после определения цены — оплачиваются отдельно.
- Все доработки оплачиваются по актуальному часовому тарифу.
Политика возврата
Оплата — это ваша персональная бронь времени и внимания специалиста, пока остальные ожидают своей
очереди
Вопросы и ответы
Зачем эта услуга?
-
Данная услуга может потребоваться например производителю товаров, который продает свои товары на разных площадках в интернете (маркетплейсы, доски объявления и тд).
Чтобы получить обратную связь от финальных покупателей, организация может собирать отзывы и анализировать их для понимания аудитории и возможных улучшений товаров.
Вручную оказывается делать это очень долго и нудно, а получение такой услуги освобождает много времени и улучшает качество сбора.
Какие именно данные можете извлечь из сайтов или мобильных приложений?
-
Фактически все те, что можно увидеть в открытом доступе.
Так как данная услуга автоматизирует именно ручной труд.
Например:
- Товары с ценами и характеристиками из интернет-магазинов
- Новостные статьи с заголовками и датами
- Посты из соцсетей
- Объявления о недвижимости
Работаю со статичным HTML, с динамическими JS-страницами, с мобильными приложениями на Android. Все данные очищаю и выгружаю в удобном формате — CSV, JSON, Excel, SQL, XML и других.
Сколько времени обычно занимает парсинг?
-
В среднем работа занимает от 8 дней с момента получения предоплаты, но это без учёта возможных доработок. Конкретные сроки зависят от сложности архитектуры, уровня его защиты и объёма данных для извлечения.
В каком формате передаются собранные данные?
-
Формат выбирается исходя из пожеланий заказчика и потребностей дальнейшей обработки данных.
Основные форматы
JSON — для интеграции с REST API и веб-приложениями
CSV и Excel — для работы аналитиков и маркетологов
SQL — для прямой загрузки в MySQL, PostgreSQL и другие базы данных
XML, YAML — под специфические корпоративные требования
Адаптация под задачи
Если данные нужны для визуализации в BI-системах (Yandex DataLens, Apache Superset, Visiology и другие) или загрузки в CRM (Битрикс24, amoCRM и другие) — подготавливаю файлы с предоставляемой заказчиком структурой полей и кодировкой.
Главное — предоставить информацию о желаемой структуре до согласования цены и сроков.
Как формируется стоимость парсинга?
-
Стоимость формируется на основании нескольких факторов:
- насколько сложно выполнить парсинг
- какой объем данных требуется
- в каком формате требуются данные
- как часто, планируется повторять парсинг того же ресурса
Как быстро собираете данные — это происходит мгновенно или занимает время?
-
Примерно со скоростью человека, так как повторяется ручной труд, с разницей в точности сбора.
Что если в процессе работы выяснится, что сайт или приложение вообще не парсится или слишком сложный?
-
Если источник (сайт или приложение) более не работает, но работа по написанию парсера, либо сбору данных уже произведена, то ищется компромисс.
Если источник оказался слишком сложный для специалиста, то происходит возврат средств по тому же способу оплаты.
Можно ли получить тестовый образец данных перед оплатой всего проекта?
-
Да, техническая возможность предоставления тестовых данных существует.
Хочется сразу уточнить: заказчик получает именно те данные, которые мог бы получить в случае ручного сбора, то есть данные, которые можно физически увидеть на интересующем веб сайте или в мобильном приложении Android.
При этом услуга построена на принципе индивидуальной работы "на заказ". Каждое решение создаётся с нуля под конкретную задачу. Соответственно, для подготовки тестовых данных необходимо сначала выполнить разработку парсера, что без предварительной оплаты экономически нецелесообразно.
Можете ли создать REST API для доступа к собранным данным?
-
Да, есть страница услуги Разработка REST API
Можно ли очистить и нормализовать данные автоматически при парсинге?
-
Да, это обычная практика. Но если есть особые пожелания, лучше уточнить заранее до внесения оплаты, так как это влияет на стоимость работы.
Есть ли возможность получить консультацию до заказа, чтобы понять реализуемость задачи?
-
Да, конечно. Консультация производится по актуальной ставке в час.
Можете ли помочь с миграцией данных из старой системы в новую через парсинг?
-
Да, парсинг можно использовать и для миграции данных. Если старая система имеет веб-интерфейс или генерирует отчеты, можно спарсить эти данные и подготовить их в формате, подходящем для импорта в новую систему.
Можно ли парсить данные из таблиц и графиков на сайтах?
-
Да, обычно это возможно. Однако если это изображения, то могут возникнуть трудности.
Что если сайт или приложение требует подписку или платный доступ в личном кабинете для просмотра данных?
-
Услуга парсинга подразумевает работу с данными в открытом доступе, либо если у вас есть доступ к таким данным.
Стоит учитывать риски, по поводу ресурсов требующих доступ, они могут выявлять работу парсера и заблокировать учетную запись.
Как работаете с правками — если после получения финальных данных нужно что-то изменить?
-
Этот вопрос рассматривается индивидуально. Порой бывает что изменения требуют нескольких минут, а иногда требуется пересобрать все данные с нуля.
Законно ли собирать данные с чужих сайтов через парсинг?
-
Юридическая сторона зависит от целей использования данных и условий конкретного приложения. Если извлекаются публично доступные данные (без персональных данных) для аналитики, исследований или мониторинга конкурентов без нарушения авторских прав — это обычно не вызывает проблем. Автоматизированный сбор публичных данных лишь упрощает процесс, который пользователь мог бы выполнить вручную, просматривая контент на веб сайте или в мобильном приложении Android.
Важно не использовать полученную информацию для причинения вреда правообладателям или пользователям и действовать в рамках закона.
Рекомендуется изучить пользовательское соглашение целевого приложения и при необходимости проконсультироваться с юристом перед началом массового сбора данных.
Какие дополнительные расходы могут быть?
-
Хороший вопрос, в некоторых случаях может потребоваться оплата вспомогательных сервисов для упрощения процесса сбора и для хранения данных.
Какие гарантии предоставляете на качество собранных данных?
-
Перед финальной оплатой предоставляется тестовая выборка данных (около 10% тестовых данных от найденного объема) для проверки соответствия техническому заданию. Это позволяет убедиться в качестве собранной информации до передачи полного файла.
На основе тестовой выборки можно проверить:
- Полноту данных: наличие всех столбцов, указанных в техническом задании
- Корректность форматов: соответствие типов данных, кодировки и разделителей согласованным параметрам
- Точность парсинга: правильность извлечения информации из источников
- Соответствие фильтрам: наличие только тех записей, которые соответствуют критериям выборки
Замечания принимаются в структурированном виде с указанием конкретных расхождений с техническим заданием.
Даже после полной оплаты заказчик может обратиться для бесплатного исправления выявленных недочетов, явно указанных в техническом задании, в течение 7 календарных дней с момента получения данных (при условии стабильной работы исходного источника (веб сайта или Android приложения) и доступа к необходимым данным).
Можно ли получить список пользователей Android приложения? Или посетителей веб сайта?
-
Если речь идет о публичных данных, то собрать технически возможно, однако стоит учитывать законодательство страны по обработке персональных данных.
В России, например, запрещено законом 152-ФЗ собирать персональные данные (ФИО, телефоны, email, адреса) без согласия их владельца.
Я предоставляю услуги по сбору только обезличенной информации без персональных данных — это товары, цены, отзывы, характеристики, которые не позволяют идентифицировать конкретных пользователей.
Можно ли получить консультацию перед заказом для оценки целесообразности проекта?
-
Да, предпроектные консультации возможны.
Консультация проводится для оценки технической реализуемости и целесообразности задачи. В ходе обсуждения определяется:
- Какие данные необходимы для решения задачи
- Откуда их оптимально получить
- Какие существуют альтернативные варианты
- Примерная сложность реализации и стоимость проекта
Иногда в процессе консультации выясняется, что уже существуют готовые источники данных или более простые пути решения задачи.
Стоит учитывать, что так как речь идет о стороннем веб ресурсе или приложении, которые могут измениться в любой момент, консультация несет ознакомительный характер на момент ее проведения, без каких либо гарантий.
Базовая консультация оплачивается по часовому тарифу. Если требуется глубокий технический анализ приложения с изучением API, такая работа оплачивается отдельно. Однако стоимость предпроектного анализа может быть зачтена при оплате основного проекта.
Можно ли обратиться к вам снова через год для парсинга того же Android приложения или веб сайта?
-
Очень ценю постоянных заказчиков, конечно можно обратиться.