Илья Копков

Масштаб: Высоконагруженный бэкенд сбора событий и аналитическая платформа, обрабатывающие 600k+ транзакций в сутки в режиме serverless с нулевым простоем.

• Асинхронная ингестия: Разработал эндпоинты сбора событий на FastAPI (asyncio, Pydantic, uvicorn, aiobotocore) в связке с AWS Lambda и S3 для автоматического масштабирования под пирками трафика.
• Оптимизация БД и API: Спроектировал слои доступа и оптимизировал сложные SQL-запросы в PostgreSQL/Cloud DWH (сложные JOIN, CTE, тюнинг планов выполнения через EXPLAIN ANALYZE, кэширование в Redis), снизив нагрузку на БД на 20% и сократив отклик API с 1.5 с до <200 мс.
• Оркестрация ELT: Построил автоматизированные пакетные и потоковые пайплайны на Apache Airflow, dbt Core и AWS Glue (Pandas) для каталогизации сырых событий и трансформации в витрины.
• Наблюдаемость и качество: Внедрил кастомные операторы Airflow со структурированным логированием, метрики Prometheus/Grafana, трекинг ошибок Sentry и автотесты (pytest, dbt test с покрытием 80%+), снизив инциденты на 15% и сократив MTTR.

• Python
• FastAPI
• asyncio
• Pydantic
• PostgreSQL
• Redis
• AWS Lambda
• Amazon S3
• AWS Glue
• Apache Airflow
• dbt Core
• Terraform
• Prometheus & Grafana
• pytest

Масштаб: Production-ready платформа данных с автоматизацией сбора API из внешних источников (CoinGecko, US Treasury, GitHub), многоуровневыми трансформациями Medallion и быстрой доставкой метрик.

• Быстрый слой чтения: Реализовал асинхронный REST API на FastAPI, Pydantic и SQLAlchemy Core поверх PostgreSQL (с пулом соединений asyncpg и миграциями Alembic) без оверхеда ORM.
• Событийная оркестрация: Контейнеризировал Apache Airflow 3 (Docker Compose) на основе триггеров по датасетам, написал кастомные операторы с экспоненциальным бэкоффом (httpx, Pandas) и связал с Astronomer Cosmos.
• Слоистая архитектура DWH: Спроектировал Medallion DWH (Bronze → Silver → Gold) в PostgreSQL с инкрементальными материализациями и правилами хранения (48ч Bronze, 7д Silver, 28д Gold).
• CI/CD и Data Quality: Настроил автоматическую проверку контрактов данных, уникальности и свежести через dbt test и pytest в GitHub Actions.

• Python
• FastAPI
• SQLAlchemy Core
• Pydantic
• PostgreSQL
• Apache Airflow 3
• Astronomer Cosmos
• dbt Core
• Pandas
• Docker Compose
• GitHub Actions
• pytest

Масштаб: Асинхронный сервис интеграции внутренних ERP-систем с агрегаторами доставки (Yandex Eats/Delivery API), открывший цифровой канал с доходом ~10% от общей выручки компании.

• Асинхронная синхронизация: Создал неблокирующие пайплайны обработки сообщений на RabbitMQ (воркеры aio-pika) и Django REST Framework для передачи статусов заказов и остатков в реальном времени.
• Отказоустойчивость и идемпотентность: Нивелировал нестабильность сторонних API за счет Dead-Letter Queues (DLQ), повторов с экспоненциальной задержкой, лимитирования запросов и идемпотентных UPSERT в PostgreSQL, достигнув 99.9% надежности доставки.
• Валидация контрактов: Описал спецификации OpenAPI, валидаторы Pydantc и обменные SQL-представления с dbt для исключения расхождений статусов заказов между вендорами.
• Миграция легаси: Переписал устаревшие Java/SQL модули на современные Python-сервисы (Docker, pytest, GitLab CI/CD) с межсистемной валидацией.

• Python
• Django REST Framework
• RabbitMQ
• aio-pika
• Celery
• Pydantic
• PostgreSQL
• dbt Core
• OpenAPI
• Docker
• pytest

Масштаб: Централизованное хранилище данных PostgreSQL с таблицами фактов на 400M+ строк для ежедневной финансовой сверки 2000+ аптек и автоматизированный движок сбора цен.

• Тюнинг PostgreSQL: Спроектировал декларативное секционирование таблиц, составные индексы, пакетную загрузку (COPY) и оконные функции для поддержания жестких SLA на таблицах с 400M+ строк.
• Моделирование и DQ: Создал инкрементальные модели dbt Core (SCD Type 2 историчность, звезда Кимбалла) и контуры проверки Data Quality (dbt test, SQL-ассерты) для сверки с ERP.
• Парсинг цен: Разработал распределенные краулеры по 6 сайтам конкурентов на Python (aiohttp, BeautifulSoup4, Selenium) и Pandas с защитой от изменения верстки (layout-drift).

• Python
• PostgreSQL (400M+ строк)
• dbt Core (SCD2)
• SQL Optimization
• Table Partitioning
• Pandas
• aiohttp
• BeautifulSoup4 & Selenium
• Docker

Масштаб: Распределенные бэкенд-сервисы и потоковые пайплайны в архитектуре из 15+ микросервисов, обрабатывающие 200k+ транзакций в сутки для биллинга и постаматов.

• Потоковая обработка Kafka: Построил пайплайны реального времени на Apache Kafka (до 5k событий/сек, консьюмер-группы, управление офсетами) и Pandas для синхронизации состояний логистики.
• Ускорение базы данных: Оптимизировал высоконагруженные запросы чтения/записи в PostgreSQL через рефакторинг JOIN, оконные функции и тюнинг индексов, сократив задержку с ~45 минут до <2 минут.
• Микросервисные API: Разработал 40+ эндпоинтов на Django REST Framework в Docker, внедрив ограничение частоты запросов, ретраи и fail-safe логику для обеспечения 99%+ надежности доставки.

• Python
• Django REST Framework
• Apache Kafka
• PostgreSQL
• Pandas
• Microservices
• Docker
• REST APIs