Першою командою Шмідта був ФК «Дельбрюкер», де він закінчував професійну кар'єра гравця. Очолював клуб він з 2004 по 2007 роки.
У травні 2007 року він очолив ФК «Пройсен Мюнстер», з яким пропрацював до 2010 року.
1 липня 2011 року він підписав контракт з командою «Падерборн 07».
24 червня 2012 року його було оголшено новим головним тренером «Ред Булл Зальцбург». На своєму другому році перебування на чолі команди, Шмідт привів клуб до їхнього другого чемпіонства за три роки. Команда також пробилася до 1/8 фіналу розіграшу Ліги Європи, програвши «Базелю».
25 квітня 2014 року «Баєр» переманив Шмідта до своїх лав, підписавши з ним контракт головного тренера. 5 березня 2017 року Шмідта було звільнено після серії невдалих ігор.
У червні 2017 року підписав контракт на два з половиною роки з китайським клубом «Бейцзин Гоань».
В березні 2020 року Рогер Шмідт підписав 2-річний контракт з голландським ПСВ, до роботи з яким він приступив влітку того ж року. За два роки в клубі завоював Кубок та Суперкубок Нідерландів.
18 травня 2022 року підписав дворічний контракт з португальською «Бенфікою».