1802 wurde das Hochstift Konstanz säkularisiert und fiel an das Großherzogtum Baden. Der Großherzog ließ daraufhin viele wertvolle Gemälde, Kunstgegenstände und andere Wertsachen aus dem Schloss nach Karlsruhe bringen. Das Schloss selbst hatte Großherzog Karl Friedrich als Exilresidenz für den ehemaligen schwedischen König Gustav IV., der mit Friedrike von Baden verheiratet war, vorgesehen. Doch Gustav weigerte sich nach Meersburg zu ziehen und floh stattdessen in die Schweiz. Im Schloss waren letztendlich im 19. und 20. Jahrhundert verschiedene Einrichtungen untergebracht: Es diente als Gefängnis, als Schule, als Taubstummenanstalt und als Quartier für französische Soldaten nach dem 2. Weltkrieg.