Die Burg Kargegg liegt auf einem parallel dem Bodenseeufer verlaufenden Sporn, der in südlicher Richtung, durch die beginnende, tief eingeschnittene Marienschlucht und nördlich durch den felsigen Steilhang zum Überlinger See begrenzt wird.
Die Burg zu der Egg (Kargegg) entstand um 1200 und zeigte sich als kleine, aber anschauliche mittelalterliche Burg. Nach einer wechselhaften Geschichte mit vielen Besitzerwechseln, Modernisierungen, aber auch Zerstörungen steht die einst stolze und heute frei zugängliche Ruine zwischen Bodman und Wallhausen und trotzt dem fortschreitenden Verfall, so gut sie es vermag.


Aus der Blütezeit der Burg gibt es eine mündlich überlieferte Sage, die eine leidenschaftliche, wie auch zugleich tragische Geschichte erzählt.
Einst lebte auf dieser Burg ein Ritter mit seiner Tochter „Fortunate“, die den Besitzer der gegenüberliegenden Haldenburg liebte. Die Haldenburg ist eine aus dem 12. Jahrhundert errichtet Höhenburg bei Sipplingen. Der Vater des Fräuleins aber wollte diese Liebesbeziehung nicht dulden, weshalb die Liebenden eine List ersannen, um sich trotz des väterlichen Verbots regelmäßig zu treffen. Jeden Abend, wenn das Burgfräulein allein war, stellte sie ein Licht ans Fenster. Sobald der Ritter von Haldenburg dieses Licht sah, schwamm er über das SeeEnde zu seiner Geliebten. Wenn dann der Tag erwachte, kehrte er auf die gleiche Weise zurück. Lange ging alles gut, bis eines frühen Morgens der Ritter mitten auf dem See von einem heftigen Sturm überrascht wurde. Der Schwimmer kämpfte gegen die gewaltigen Wogen des Sees, bis ihn die Kräfte verließen und er in den Fluten versank. Nach langer Zeit gab der See sein Opfer zurück. Das Burgfräulein entsagte der Welt und ging ins Kloster. Sie war die letzte ihres Stammes. Die Burg wurde am 25. Mai 1525 während des Bauernkrieges zerstört und wurde danach dem Verfall überlassen. Sie ging im Jahre 1520 durch eine Erbfolge an Hans Gabriel von Bodman und ist heute im Besitz von Wilderich Graf von und zu Bodman.

Eine ähnliche Sage gibt es aus dem 13. Jahrhundert von den benachbarten Burgen Bodman und Hohenfels, unterhalb dem Haldenhof. Allerdings schwimmt der Ritter von Hohenfels mit einem brennenden Licht auf dem Kopf, das als Wegleuchte und als Signal für ein Fräulein von Bodman diente. Wenn heute ein Lichtlein auf der Wasseroberfläche am SeeEnde entdeckt wird, ist es eher die Leuchte von einem Segel- oder Motorboot und ganz bestimmt nicht mehr die Funzel auf dem Kopf eines Schwimmers zum Fräulein nach Bodman. Oder doch?