Был написан парсер, который ежечасно собирает полную статистику с торговой площадки (несколько десятков миллионов товаров), а также всю информацию о товарах, категориях и продавцах.
Сайт разработан на фреймворка Laravel 8. В процессе разработки мы не единожды использовали денормализацию БД и ее распределение на ряде серверов. Применены подходы для комфортной обработки данных с нескольких источников, а также формирование нетипичной структуры и группировки для быстрой выборки данных из БД. Вес базы данных исчисляется терабайтами.
Реализованы удобные динамические таблицы и графики для наглядного отображения информации
Заказали большой полноценный сервис по аналитике wildberries . Написан целый ряд парсеров, а также скрипты для группировки и обработки данных с маркетплейса. Помимо этого реализован интерфейс со удобной подачей информации в виде графиков и динамических таблиц. Работа была проделана внушительная и сделана качественно, за что очень благодарны вашим программистам.
Комментарий SEO-эксперта
Основная сложность проекта – это высокая нагрузка и многотеррабайтные базы данных, которые ежедневно пополняются миллиардами строк.
Достаточно много времени уделив оптимизации структуры таблиц и запросов, наладив шардинг БД для повышения скорости и надежности, работа на этом не закончилась. Для эффективного управления таким количеством данных понадобился достаточно креативный подход по модификации логических связей и алгоритму обновления данных в таблице.
И только в совокупности с эффективной системой кэширования нам удалось достичь действительно хороших результатов.