Smith, İskoçya U-19 ve İskoçya U-21'i çalıştırdı. 1986 FIFA Dünya Kupası'nda mücadele eden İskoçya'nın o zamanki teknik direktörü Sir Alex Ferguson'un yardımcılığını yaptı.Aynı zamanda Glasgow Rangers takımında da o zamanki teknik direktör Graeme Souness'ın yardımcılığını yaptı.1991 yılında Souness'ın takımdan ayrılmasıyla Glasgow Rangers'ın başına geçen Smith, 1998 yılında İngiliz takım Everton'ın başına geçti. 2002 yılında Everton'dan ayrılan Smith, 2004 yılına kadar Manchester United takımında yine o zaman ve şu an teknik direktörü olan Sir Alex Ferguson'ın yardımcılığını yaptı. 2004 yılında İskoçya'nın başına geçtikten sonra 2007 yılında tekrar Glasgow Rangers'a geri döndü. İlk sezonunda takımını UEFA Kupası'nda finale taşıyan Smith,ardından 2011'de teknik direktörlükten emekli oldu. Smith, Bill Struth'un ardından Rangers tarihinin en başarılı ikinci teknik direktörüdür .