Durch den Verkauf der Herrschaft Obersulmetingen und andere Transaktionen war es Johann Ludwig Constantin von Ulm möglich geworden, Kaiser Leopold im Jahre 1702 ein Darlehen von 400.000 Gulden zu gewähren und dafür vom Kaiser die Grafschaft Hohenberg für 40 Jahre pfandweise zu erhalten. 1722 löste der Kaiser das Pfand wieder ein und überließ derer von Ulm die Lehenherrschaften Werenwag, Kallenberg und Poltringen als erbliche Mannlehen. Bis zum Jahre 1834 waren die Reichsfreiherren von Ulm zu Werenwag Inhaber dieser Herrschaften.
Beachtenswerte Persönlichkeiten waren später: Franz Anton, Sohn des Gallus von Ulm, der als erster das Amt des Landvogts der Marktgrafenschaft Burgau (mit Residenz in Günzburg) einnahm. Vier Generationen (mit nur einer Unterbrechung) versahen dieses Amt und dienten dem Haus Habsburg. Von ihnen wurde Ferdinand Carl von Ulm (1725-1781) Regierungspräsident des unter Maria Theresia neu organisierten Landes Vorderösterreich, mit Sitz in Freiburg. Freiherr Cajetan von Ulm, Sohn des Ferdinand Carl von Ulm-Erbach, zeichnete sich in den napoleonischen Kriegen aus und wurde Feldmarschall. Das sichtbarste Zeugnis des Wirkens der freiherrlichen Familie von Ulm-Erbach ist noch heute die prächtige Rokoko-Pfarrkirche in Erbach, die dank großzügiger Stiftungen der Feifräulein Maria Beata und Maria Viktoria von Ulm-Erbach (beide im Damenstift St. Stephan zu Augsburg) von1767 bis 1769 erbaut wurde.