Das traditionsreiche, auf das 13. Jh. zurückgehende Karmeliterkloster dient seit dem Jahr 1817 der Diözese Rottenburg-Stuttgart als Priesterseminar. 

Graf Albert II. von. Hohenberg schenkte 1276 dem Bettelorden der Karmeliter einen Platz am Neckarufer zum Bau eines Klosters. Die Grundsteinlegung für Kloster und Kirche (Patrozinium: Heiligste Dreifaltigkeit) erfolgte 1281.

Nach der württembergischen Besitzergreifung Rottenburgs erfolgte 1806 die Aufhebung des Klosters. Die Mönche wurden teils als Weltgeistliche weiterverwendet, teils pensioniert. Der Klosterbesitz wurde verkauft bzw. verpachtet. Die Klostergebäude wurden zuerst als Kaserne genutzt. Seit 1817 befindet sich in den Gebäuden das Priesterseminar der Diözese Rottenburg-Stuttgart. Der Chor der seinerzeit vollständig ausgeräumten Kirche dient als Hauskapelle.

1981 wurde der historische Komplex durch ein modernes und offenes, vorwiegend der Fort- und Weiterbildung pastoraler Mitarbeiterinnen und Mitarbeiter gewidmetes Tagungsgebäude ergänzt, das seit seiner Einweihung durch Bischof Georg Moser den Namen 'Johann-Baptist-Hirscher-Haus' trägt.