Кейс анализатор Wildberries

Wildberries – очень популярный маркетплейс, объединяющий множество продавцов и покупателей. Однако, многие поставщики страдают от несовершенной системы аналитики. Для решения этих проблем была разработана данная система, достаточно сильно расширяющая нативные возможности анализа маркетплейса.
Кейс анализатор Wildberries

Задачи проекта:

  1. Написать парсер для сбора информации с wildberries
  2. Разработать архитектуру базы для хранения данных
  3. Создать сайт на основе Laravel
  4. Интегрировать интерфейс для работы со статистикой
  5. Реализовать динамический вывод графической статистики
  6. Оптимизация и доработка внутренней структуры под условия проекта

Комментарий SEO-эксперта

Основная сложность проекта – это высокая нагрузка и многотеррабайтные базы данных, которые ежедневно пополняются миллиардами строк.

Достаточно много времени уделив оптимизации структуры таблиц и запросов, наладив шардинг БД для повышения скорости и надежности, работа на этом не закончилась. Для эффективного управления таким количеством данных понадобился достаточно креативный подход по модификации логических связей и алгоритму обновления данных в таблице.

И только в совокупности с эффективной системой кэширования нам удалось достичь действительно хороших результатов.

Выполненные работы

  1. Разработано 10 парсеров для сбора всеобъемлющей информации с wildberries
  2. Проработана и оптимизирована архитектура БД
  3. Разработан сайт на основе фреймворка laravel
  4. Интегрирована система ag-grid для удобного управления таблицами
  5. Интегрирована библиотека mpcharts для построения графиков по условиям клиента
  6. Реализована система кэширования 
  7. Интегрирована система оповещения в telegram

Результаты работы

Был написан парсер, который ежечасно собирает полную статистику с торговой площадки (несколько десятков миллионов товаров), а также всю информацию о товарах, категориях и продавцах.

Сайт разработан на фреймворка Laravel 8.  В процессе разработки мы не единожды использовали денормализацию БД и ее распределение на ряде серверов. Применены подходы для комфортной обработки данных с нескольких источников, а также формирование нетипичной структуры и группировки для быстрой выборки данных из БД. Вес базы данных исчисляется терабайтами.

Реализованы удобные динамические таблицы и графики для наглядного отображения информации

Отзыв клиента

Никита

Заказали большой полноценный сервис по аналитике wildberries . Написан целый ряд парсеров, а также скрипты для группировки и обработки данных с маркетплейса. Помимо этого реализован интерфейс со удобной подачей информации в виде графиков и динамических таблиц. Работа была проделана внушительная и сделана качественно, за что очень благодарны вашим программистам.

черная волна 2

Остались сомнения?

Если вы не смогли определиться, мы можем дать вам бесплатную консультацию. Проанализируем рынок и вышлем вам коммерческое предложение. Заполните простую форму и мы вам перезвоним