Durch Teilung entstanden die Linien, die sich nach diesen Schlössern nannten. Des Bürgermeisters ältester Sohn Hans Jakob von Ulm verblieb auf dem Stammgut Marbach am Untersee. Hier wurden 1557 auch Caspar von Ulm und Dorothea von Hohenegg getraut, von deren Kindern Hans Ludwig (Reichsvizekanzler), Heinrich (Fürstabt von Kempten), Lutifried (Deutschordensritter) und Catharina (Priorin zu Katharinenthal) bedeutungsvoll wurden. Erst durch die Heirat des Hans Ludwig mit Euphrosine von Schad zu Mittelbiberach kam das Geschlecht derer von Ulm nach Oberschwaben. Aus deren Ehe gingen fünf Söhne hervor, die die Linien Marbach, Erbach, Mittelbiberach und Sulmetingen begründeten, während der fünfte Sohn später als Canonicus und Geistlicher Rat in Salzburg lebte.