Das Geschlecht derer von Ulm beginnt urkundlich um das Jahr 1140. Es stammt wohl aus der Bodenseegegend und tritt etwa zur gleichen Zeit in Konstanz, St. Gallen und im Raum Augsburg auf. Eine im Stiftsarchiv St. Gallen aufbewahrte Urkunde mit dem Siegel des Otto von Ulm trägt die Jahreszahl 1213, eine andere von 1363 überliefert die Belehnung des Hans von Ulm mit dem Dorf Litzelstetten durch Abt Eberhard von St. Gallen. Die lückenlose Genealogie beginnt mit Heinrich von Ulm (*1348), Bürgermeister zu Zürich. Dessen Enkel war der Konstanzer Bürgermeister von 1414 bis 1430, der während des Konstanzer Konzils amtierte. Dieser erhielt von Kaiser Sigismund den Ritterschlag und nennt sich Ritter Heinrich von Ulm (Richenthal-Chronik). Er erwarb die in den jetzigen Kantonen Thurgau und Zürich gelegenen Herrschaften Griesenberg und Wellenberg.