Load balancer

L4-балансувальник працює на рівні TCP/UDP: бачить IP і порт, але не HTTP. Він дуже швидкий і дешевий, підходить для будь-якого протоколу (бази, gRPC, WebSocket). Приклади: AWS NLB, HAProxy у режимі TCP, Linux IPVS.

L7-балансувальник розуміє HTTP: маршрутизує за шляхом і заголовками (/api в один пул, /static в інший), термінує TLS, додає заголовки, робить retries. Приклади: Nginx, Caddy, Traefik, Envoy, AWS ALB.

Round robin по черзі віддає запити кожній копії, просто й добре для однакових коротких запитів. Least connections шле запит туди, де найменше активних з'єднань, і краще працює, коли запити мають різну тривалість (наприклад, генерація PDF-сертифіката поруч зі звичайним API).

Consistent hashing прив'язує ключ (user id, URL) до конкретного бекенду, і при додаванні вузла перерозподіляється лише невелика частина ключів. Це корисно для кешів і stateful-сервісів.

Балансувальник кожні кілька секунд звертається до /healthz кожної копії. Після 2...3 невдалих перевірок копія виходить з ротації, і користувачі її не бачать.

На цьому будується rolling deploy: нова версія піднімається поруч, проходить health check, потрапляє в пул, а стара спершу перестає отримувати нові запити (draining), дочікується завершення поточних і лише тоді зупиняється.

Важлива умова: копії мають бути stateless. Якщо сесія лежить у пам'яті процесу, користувач «вилетить» при переході на іншу копію. Тримайте стан у базі, Redis або токені. Sticky sessions рятують тимчасово, але ламають рівномірний розподіл.