Skip to content

fix: relance unless-stopped et un tunnel Cloudflare par nœud - #321

Merged
bobdivx merged 1 commit into
mainfrom
cursor/restart-and-shared-tunnel-3801
Nov 17, 2026
Merged

bobdivx merged 1 commit into
mainfrom
cursor/restart-and-shared-tunnel-3801

Conversation

@bobdivx

@bobdivx bobdivx commented Nov 17, 2026

Copy link
Copy Markdown
Owner

Contexte

Après le reboot du 17/11/2026, les conteneurs d’apps (df-*, previews, SSO) sont restés Exited (255) : leur politique Docker était no. Seuls les conteneurs d’infra (unless-stopped) sont revenus. En parallèle, un worker lançait le connecteur devforge-cloudflared du leader : les deux nœuds partageaient le même tunnel, et Cloudflare envoyait environ la moitié des requêtes vers un Traefik qui ne connaît pas ces apps (404 page not found). Arrêter le connecteur du worker ne tenait pas : le cycle DNS le recréait.

La version n’est pas incrémentée ici. Le workflow release.yml le fait après le merge.

Relance

  • Les docker run d’apps, blue-green, previews dev et runners portaient déjà --restart unless-stopped. docker compose up aligne maintenant la même politique sur les conteneurs du fichier.
  • Au boot du leader (et toutes les 60 s), pour chaque nœud non hors ligne : docker update --restart=unless-stopped, puis docker start si le conteneur existe et doit tourner.
  • Pas de relance si le projet est stopped ou paused, ni pour une app draft / deploying / déploiement en cours. Les conteneurs blue-green *-new sont ignorés.
  • La base Postgres du projet et une preview de PR déjà ready reviennent : l’action stop ne coupe que le conteneur d’app.
  • devforge-sso-* et devforge-keeper (s’ils existent sur le nœud) reçoivent la même politique et sont démarrés. Ces conteneurs ne sont pas créés par ce dépôt.

Tunnels (choix)

Le modèle déjà en place est le bon : un tunnel devforge-{nœud} par machine, CNAME vers le tunnel du nœud qui héberge l’app, bascule DNS vers le tunnel de l’élu. Le partage venait d’un bug : ClusterAwareExecutor traitait default comme local dès qu’un nœud avait le rôle leader. Un worker ou un intérim (node_…) exécutait donc chez lui le cloudflared du NAS.

Correctif principal : default n’est local que si ce process est le nœud d’origine. Le connecteur porte le label devforge.cf_node ; un connecteur sans ce label, ou démarré pour un autre nœud, est recréé avec le jeton de son tunnel.

Filet de sécurité, recalculé toutes les minutes (élection comprise) : devforge-peer-forward.yaml dans le file provider Traefik. Une route Host de priorité 1 par nom que le nœud n’héberge pas, vers http://{IP d’annonce du propriétaire}:80, sinon vers le leader. Pas de PathPrefix(/) (ça volerait le trafic local). Un nœud ne se renvoie pas à lui-même. L’en-tête X-DevForge-Forwarded et la règle !Header empêchent une seconde transmission. Les routeurs Docker locaux, de priorité plus haute, continuent de gagner.

Secours manuel

Chaque synchro supprime /traefik/dynamic/zz-fallback-nas.yml. Après mise à jour, le fichier peut aussi être retiré à la main (voir plus bas).

Tests

  • devforge-cluster : 37 tests lib, dont l’intérim qui n’exécute plus default en local.
  • devforge-proxy : connecteur sans label devforge.cf_node recréé.
  • devforge-deploy : docker run et docker compose posent unless-stopped.
  • devforge-server : restart_policy (2) et peer_forward (3).

Après le déploiement

Mettre à jour DevForge sur le NAS et sur Demeter (ou laisser l’auto-update).

  1. En moins d’une minute, le leader pose unless-stopped et démarre les apps dont le statut n’est pas stopped / paused / draft / deploying.
  2. Au prochain cycle DNS (au plus ~3 min), le cloudflared de Demeter est recréé avec le jeton de son tunnel.
  3. devforge-peer-forward.yaml est écrit, et zz-fallback-nas.yml est supprimé.

Si un nœud n’est pas joignable par l’exec du leader, retirer le secours manuel sur ce nœud :

docker exec devforge-traefik rm -f /traefik/dynamic/zz-fallback-nas.yml

Un worker en drain ne reçoit pas cet exec tant qu’il reste drainé. Le filet vers le port 80 de l’hôte est le même principe que le secours manuel : sur ZimaOS ce port est souvent le gateway, pas Traefik. Le correctif durable est le tunnel séparé, qui ne dépend pas de ce port.

Open in Web Open in Cursor 

Après un reboot, les conteneurs d'apps restaient arrêtés (politique no).
Un worker exécutait en local le cloudflared du leader et partageait son
tunnel : Traefik répondait 404 une fois sur deux. Chaque nœud ne joint
plus que son tunnel, avec des routes de secours par hôte et sans boucle.

Co-authored-by: Mathieu JESER <bobdivx@users.noreply.github.com>
@bobdivx
bobdivx merged commit ae88aa3 into main Nov 17, 2026
4 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants