Hmm, löysin jotain hyvin hyödyllistä:
https://github.com/jwilder/nginx-proxy
Tämä on valmiiksi docker-paketoitu service registry docker-konteille, jonka kautta saa yhteyden käynnissä oleviin kontteihin. Jokaiseen konttiin vain laitetaan ympäristömuuttuja VIRTUAL_HOST, nginx-proxy lukee ne docker-daemonilta, ja ohjaa liikenteen oikealle kontille sen mukaan, millä nimellä nginx-proxyyn otetaan yhteyttä.