E-Importer / Интеграции и синхронизация данных
Автоматическая синхронизация данных из 1С
Backend-система автоматической выгрузки и синхронизации данных из 1С в веб-приложение.
Продуктовый дизайнер и Fullstack-разработчик
Задача
Товары, категории, характеристики и связанные данные приходили из 1С и внешних источников в разных форматах. Нужно было автоматически синхронизировать их с веб-приложением.
Как устроен обмен
Поток загрузки разделён на получение, проверку, обработку и публикацию. Перед сохранением записи проходят нормализацию.
Kafka передаёт события, PostgreSQL хранит основные данные, а Redis — промежуточное состояние обработки.
Ошибки и повторная обработка
Фоновые задачи используют повторные попытки, таймауты и статусы выполнения. Защита от повторной обработки не даёт одной выгрузке создавать дубликаты.
Статусы задач и структурированные логи показывают этап, на котором произошёл сбой.
Интерфейс импорта
Спроектировал структуру интерфейса для запуска выгрузки, контроля статусов, просмотра ошибок и повторной обработки.
Состояния и сообщения интерфейса связал с этапами backend-процесса, чтобы проблему можно было найти без ручной проверки всей цепочки.
Моя зона ответственности
Получение, преобразование и синхронизация данных между 1С, PostgreSQL и сайтом.
Парсеры и интеграционные сервисы для неоднородных входных форматов.
Фоновые задачи, повторные попытки, таймауты и контроль статуса.
Нормализация данных, миграции и структурированное логирование.
Стек
- Python
- FastAPI
- PostgreSQL
- SQLAlchemy
- Kafka
- Redis
- Docker
