Teknik direktörlük kariyerinin başlangıcı onu Teutonia Lippstadt , VfL Geseke, FC Paderborn ve TuS Eving-Lindenhorst gibi kulüplere götürdü. 1948-49 yılının başında Cramer kendini ilk kez Alman Futbol Federasyonu'nun (DFB) hizmetinde buldu .1963'e kadar Duisburg'daki DFB'ye bağlı Batı Almanya'nın Baş Antrenörü olarak görev yaptı.Japonya Futbol Federasyonu, dört yıl sonra Tokyo Olimpiyat Oyunları öncesinde milli takımını güçlendirmek için 1960 yılında Cramerı takımın başına geçirdi.Cramer'in koçluğu ve liderliği ve oyuncularının çabaları sayesinde Japonya milli takımı , Tokyo Olimpiyatları'nda Arjantin karşısında sürpriz bir zafer kazandı . Cramer'in çabaları milli takımla sınırlı değildi; genel gelişim için de politikalar formüle etti ve uyguladı. İlk ulusal ligin kurulması, diğer koçların eğitilmesi ve milli takımın güçlendirilmesi, Japonya'nın dört yıl sonra Mexico City Olimpiyatları'nda bronz madalyayı evine götüreceği başarıya katkıda bulunacaktı.Cramer, 1 Ocak 1964'te Batı Almanya'ya geri döndü ve Batı Almanya milli takım teknik direktörü Helmut Schön'ün yardımcısı olarak görev yaptı. 16 Ocak 1975'te Batı Alman devi FC Bayern Münih'in teknik direktörlüğünü devraldı .Cramer, Bayern'i 1976'da Dünya Kulüpler Kupası'nıkazanmasının yanı sıra 1975 ve 1976'da Avrupa Şampiyonlar Kupası'nda zafere taşıdı.Cramer, 2002'de futboldan emekliliğini resmen açıkladı. 2005 yılında Japonya Futbol Onur Listesi'ne girdi.