Seinem Nachfolger Graf Anton III. (1670-1733) schien das Alte Schloss jedoch nicht repräsentativ genug. Er begann deshalb 1712, trotz hoher Verschuldung, mit den Planungen für das Neue Schloss. In den folgenden Jahren entstand eine quadratische Vierflügelanlage mit vier Treppenhäusern und einer opulenten Innenausstattung.
Baumeister war Christoph Gessinger (um 1670-1734), der einige Jahre vorher mit dem Neuen Schloss Meersburg das erste Barockschloss am Bodensee erbaut hatte. Herausragende Künstler arbeiteten am Neuen Schloss mit. Beispielsweise der Architekt Maximilian von Welsch (1671-1745), der Baumeister und Stuckateur Dominikus Zimmermann (1685-1766) und der Stuckateur und Bildhauer Joseph Anton Feuchtmeyer (1696-1770). Der Bau des Neuen Schlosses kostete riesige Summen an Geld. Geld, das die Grafen von Montfort nicht hatten, was zu weiterer Verschuldung führte. Graf Anton III. überließ letztendlich 1724 die Regierung und das fast fertige Schloss seinem Sohn Ernst und zog sich nach Salzburg zurück.