Futbolu erken yaşta bırakarak 1932 yılında,millî takım antrenörü Otto Nerz'in yardımcısı oldu 1936 Yaz Olimpiyatlarında Alman takımının yarattığı hayal kırıklığından sonra ulusal takımın başına geçti.1954'te Alman millî takımının Dünya Kupası'nı kazanmasında en az futbolcular kadar pay sahibi oldu.Sepp Herberger Kendisine emanet edilen oyuncuların saygıyla söylediği isimle "Patron", yalnızca 1954'te İsviçre'de düzenlenen Dünya Kupası'nda "Bern Kahramanları"nın beklenmedik zaferiyle hatırlanmıyor.Onun bilgeliği aynı zamanda ölümsüzdür ve bu sayede bir futbol oyununun esasen basit süreçleri kolayca açıklanabilir. Sepp Herberger, "On bir arkadaş olmalısınız" ve "Bir sonraki oyun her zaman en zorudur" sözlerini ve "Tur kareye gitmeli" ifadesini icat etti.Almanların İsviçre'deki Dünya Kupası finallerinde aldığı 3-2'lik zafer, DFB takımının iyi bir turnuva takımı olarak itibarını kesin olarak tesis etti ve katılan herkesin adını ölümsüzleştirdi. Sepp Herberger'in yetiştirdiği futbolcular, Wankdorf Stadyumu'nda spor tarihine 'Bern Mucizesi' olarak geçen bir başarıya imza attı.1966'da kendini emekliye ayırdı, yerini öğrencisi Helmut Schön'e bıraktı.