Erbaut wurde die Anlage um 1200 als Wehr- und Wohnbau. Um 1239 befandt sich die Burg in Besitz der Wartenberger. Durch die Heirat einer Udihild von Wartenberg mit Konrad (=Kunz/Konz) von Hirschegg erhielt diese neben der Burg auch die Dörfer Oberflacht, Seitingen und Weilheim, und dürfte dann auch für die künftige Namensgebung Ursache gewesen sein.
1345 jedenfalls starben die Wartenberger aus, die Burg gelangte an das Domkapitel Konstanz und durch Verkauf 1602 an die Dompropstei Konstanz, die einen Verwaltungssitz in Wurmlingen hatten.

1796 und 1799 wurde die Burg von Franzosen beschädigt. Durch die abgeschiedene Lage und deren strategische Unwichtigkeit, ist anzunehmen das die Burg allmählich verfiel.
1803 war sie kurzzeitig in badischen Besitz, gelangte dann aber 1806 an Württemberg. 1820 wurde die Burg auf Abbruch verkauft.