E-Importer / Интеграции и синхронизация данных
Данные движутся. Бизнес не ждёт.
Backend-система автоматической выгрузки и синхронизации данных из 1С в веб-приложение.
- Компания
- E-Importer
- Роль
- Fullstack Developer
- Направление
- Интеграции и синхронизация данных
01 / Контекст
Контекст
Товары, категории, характеристики и связанные данные приходили из 1С и внешних источников в разных форматах. Системе требовалось устойчиво переживать сетевые ошибки и недоступность источников, не создавая дубликаты.
02 / Мой вклад
Мой вклад
- 01
Разработал получение, преобразование и синхронизацию данных между 1С, PostgreSQL и сайтом.
- 02
Создал парсеры и интеграционные сервисы для неоднородных входных форматов.
- 03
Реализовал фоновые задачи с повторными попытками, таймаутами и контролем статуса.
- 04
Использовал Kafka для событий, Redis для промежуточного состояния и защиты от повторной обработки.
- 05
Добавил нормализацию данных, миграции и структурированное логирование.
03 / Решение
Решение
Поток загрузки был разделён на получение, проверку, обработку и публикацию, чтобы каждый этап можно было повторять и диагностировать отдельно.
Перед сохранением записи проходили нормализацию, а статусы задач и подробные логи позволяли быстро находить точку сбоя.
04 / Стек
Стек
- Python
- FastAPI
- PostgreSQL
- SQLAlchemy
- Kafka
- Redis
- Docker