Брак принца Карла и Генриетты остался бездетным.
Однажды принц Карл признался: «Благородства душ обеих моих жен для меня достаточно, чтобы компенсировать их родословную. Могу сказать, я был счастлив, и это намного больше, чем статус после брака с равным».
16 августа 1875 года в возрасте 80 лет в Тегернзее внезапная смерть настигла принца Карла. Он был сброшен лошадью и мгновенно умер. Похоронен в Штарнберге в мавзолее Зёкинге между двумя своими морганатическими женами.
Как уже упоминалось, тайну происхождения незаконнорожденной дочери принца Карла прекрасной Каролины не раскрывали и она росла под именем баронессы фон Шпиринг. Её приемный отец барон Карл Теодор фон Шпиринг умер 21 июня 1829 года и с его смертью род прервался по мужской линии, так как его сын Максимилиан Карл умер ранее и у барона остались лишь три несовершеннолетние дочери, самая младшая из которых была не родная по крови Каролина. Вдова Йоханна фон Шпиринг тяжело переживала потерю мужа и дочери также скорбели по отцу. Жизнь все же продолжалась дальше, дочери барона фон Шпиринга начали искать себе подходящих мужей.
Каролине по наследству перешло имение Фронберг. 9 ноября 1831 года в возрасте 16 лет юная красавица Каролина вышла замуж за 34-летнего помещика графа Карла Теодора фон Хольнштайна из Баварии, внука Франца Людвига фон Хольнштайна (1). Карл Теодор граф фон Хольнштайн, рожденный 17 октября 1797 года, был сыном наследного наместника Макса Йозефа графа Хольнштайна из Баварии (1760 - 1824) и его второй супруги Марии Йозефы принцессы фон Хоэнлоэ-Шиллингсфюрст. После смерти своего отца граф Карл Теодор унаследовал владения в Верхней Баварии: Иттельхофен, Шварценфельд, Раубервайерхаус, Танштайн, Пальцинг, Тальхаузен. При баварском дворе он занимал должность королевского камергера.
Брак графа фон Хольнштайна и Каролины фон Шпиринг был заключен не по любви, а скорей по расчету. Между семьями Шпиринг и Хольнштайн существовали длительные отношения, поэтому они стремились объединить прилегающую семейную собственность в центральном Верхнем Пфальце (замок Фронберг граничил неподалеку с замком Шварценфельд, семейной резиденцией графов Хольнштайн). Супруги переехали, как и их предыдущие поколения в великолепный дворец Хольнштайн в Мюнхене. Благодаря положению своего супруга графиня Хольнштайн пользовалась прекрасным уважением при баварском дворе. Каролина фон Хольнштайн была всем известна своей красотой и стала ярким представителем Мюнхенского придворного общества.
8 декабря 1833 года ничего не подозревающий её дядя король Людвиг I Баварский впервые заметил графиню Каролину в придворной Академии и был высоко очарован её красотой. Прекрасная графиня всколыхнула чувства баварского короля. «Она одна», как говорил монарх, «смогла бы вылечить его сердечные раны». Вскоре Людвиг I своевременно узнал о родстве и был вынужден отказаться от продолжения дальнейших отношений, которые были просто немыслимы. Но по-прежнему тайна происхождения Каролины не разглашалась в общественности. Король позволил увековечить придворному художнику Йозефу Карлу Штилеру (1781 - 1858) в 1834 году элегантную графиню фон Хольнштайн для Галереи красавиц в замке Нимфенбург. Портрет графини можно увидеть и по сей день в южном павильоне замка рядом с картинами самых красивых женщин из разных социальных слоёв. Портрет Каролины фон Хольнштайн размером 71,5 см х 58 см, на его обратной стороне можно прочитать: «Каролина графиня фон Хольнштайн, урожденная баронесса фон Шпиринг, появилась на свет во Фронберге в Баварии 8 мая 1815 года. Художник Й. Штилер, 1834 год». 18 февраля 1834 года портрет находился в работе в мастерской Штилера в Мюнхенской резиденции и в мае того же года был оплачен.
Есть еще один малоизвестный портрет Каролины фон Хольнштайн. Он принадлежит кисти художника Франца фон Ленбаха(2) (1836-1904). Портрет находится на сегодняшний день во владении семьи фон Хольнштайн. На картине изображена уже не совсем молодая дама с потухшим взглядом в черном туалете. Картина подписана «Ленбах, 1863».
8 декабря 1832 года у супругов Хольнштайн родился первенец - сын Карл Теодор. Слабенький ребенок умер уже через 1/4 часа после рождения. Родительская скорбь стала понемногу утихать, и Каролина вскоре вновь ждала ребенка.
Менее чем через год, 17 сентября 1833 г. графиня Каролина произвела на свет девочку. Маленькую графиню по имени Йоханна крестили в Шварценфельде. Но и во второй раз Бог забрал к себе невинную душу, посеяв вновь горе в графской семье. В день своего крещения малышка Йоханна умерла.
Брак без любви не принес счастья графине Каролине. Она была не весьма довольна роскошным, но тоскливым образом жизни. Её авантюрная душа чахла в оковах скучного брака с графом фон Хольнштайном. Красавица Каролина продолжала вращаться в центре мюнхенского придворного общества. Графиня хотела быть на виду, любила яркую жизнь и светские развлечения.
В 1835 году графиня Каролина носила под сердцем третьего ребенка.
Глубокой осенью у супругов Хольнштайн все же родился наследник, который вошел в историю как знаменитый обершталмейстер короля Людвига II Баварского. Здоровый и крепкий мальчик граф Максимилиан Карл Теодор фон Хольнштайн появился на свет 19 октября 1835 года в Мюнхене. Его крестным cтал кронпринц Максимилиан Баварский (1811-1864), позднее король Максимилиан II с 1848 г.), сын короля Людвига I. Маленького графа Хольнштайна назвали в честь крестного. Соответственно Каролина фон Хольнштайн приходилась кузиной баварскому королю Максимилиану II. А Макс фон Хольнштайн по материнской линии был троюродным братом принцам Людвигу и Отто(3), сыновьям Максимилиана II .
На первый взгляд казалось, что рождение сына должно было укрепить брак супругов Хольнштайн, но произошло иначе, графиня Каролина с каждым днем все дальше отдалялась от нелюбимого супруга. И даже рождение сына не принесло ей радости семейного счастья, о котором она мечтала. Она убегала от унылого брака в придворные развлечения, пока однажды на одном из праздников графиня Каролина встретила свою настоящую любовь. Им был статный офицер старший лейтенант барон Вильгельм фон Кюнсберг (30.09.1801 – 20.05.1874), который сразу ответил на пылкие чувства графини Каролины. Влюбленные некоторое время встречались тайно. Барон проживал в Мюнхене на улице Святой Анны (St.-Anna-Straße). Молодой барон был также не свободен: еще c 4 октября 1826 года он был связан узами брака с баронессой Августой фон Феннинген-Улльнер. У супругов подрастал сын Филипп Август Вильгельм Штефан (1831-1884).
4 апреля 1836 года внезапно умерла баронесса Августа, и Каролина покинула своего супруга графа фон Хольнштайна. Она забрала маленького Макса(4) и переехала вместе с ребенком и своим возлюбленным бароном фон Кюнсбергом в замок Фронберг. Общество осуждало скандальную жизнь графини, ходили пересуды и насмешки. То семейное счастье, которого Каролина не ощутила в браке с графом фон Хольнштайном, она обрела лишь с бароном фон Кюнсбергом. Из-за любви к графине барону фон Кюнсбергу пришлось снять кирасирскую униформу. Муж Каролины Карл Теодор граф фон Хольнштайн терпел внебрачные отношения своей молодой супруги, развод в то время был немыслим в тех кругах и он надеялся, что супруга может однажды образумится и вернётся назад в семью. Но граф ждал напрасно, жена ушла от него окончательно. В глазах графини Каролины отношения с бароном фон Кюнсбергом были большой любовью, она осталась ему верной в последующие годы их совместной жизни. Несмотря на разбитый брак, граф Карл Теодор фон Хольнштайн на всю жизнь остался в дружеских отношениях со своей бывшей супругой и другом бароном фон Кюнсбергом.
С 1838 по 1847 годы у Каролины и барона фон Кюнсберга родилось пятеро детей, которые долгое время считались незаконнорожденными:
Вильгельм Максимилиан (27 марта 1838 – 18 июня 1909)
Вильгельмина Мария Каролина (23 августа 1841 – 9 июня 1889)
Йоханн Фридрих Вильгельм Карл (26 сентября 1842 – 24 марта 1876)
Рудольф Филипп Вильгельм Госвин Карл (27 марта 1844 – 4 сентября 1910)
Ида Вильгельмина (27.02.1847- 1872).

Сын Каролины Макс фон Хольнштайн, который, несмотря на неупорядоченные семейные отношения его родителей, бывал часто в замке Фронберг, играл и воспитывался вместе со своими сводными братьями и сестрами. Большую часть времени он находился вместе с отцом, но также бывал и с матерью. Как отмечалось ранее, замок Фронберг находился по соседству с Шварценфельдом. Разлука родителей наложила определенный отпечаток на формирование характера графа Макса. Он не был обласкан большой материнской любовью, и он не дополучал некоторой заботы и внимания со стороны матери, которые требует ребенок, что оставило след в душе юного графа. Упрекать Каролину, что она была плохой матерью, которая полностью бросила маленького Макса и прекратила о нем заботиться и любить, это не совсем верно. Конечно больше внимания, любви и заботы она отдавала своим другим детям, которые появились на свет от барона фон Кюнсберга, но о Максе она также старалась не забывать и он был ей дорог и любим.
Из-за разбитого брака родителей Макс фон Хольнштайн часто также бывал при баварском дворе. Он был наряду с принцами Гессенскими другом детства принцев Людвига и Отто Баварских(5). Хоть граф Макс и принадлежал к королевскому роду, но из-за своего морганатического происхождения не мог пользоваться всеми привилегиями. Он получил образование в Резиденции в тени своих королевских троюродных братьев. Любовь к лошадям объединяла интересы графа Хольнштайна и кронпринца Людвига с юности.
Шли годы. 30 июня 1857 года умер граф Карл Теодор фон Хольнштайн в возрасте 59 лет.
После смерти графа фон Хольнштайна дорога к алтарю его овдовевшей супруги Каролины была наконец свободной. Каролина вышла замуж 21 сентября 1857 года за барона Вильгельма фон Кюнсберга. Бракосочетание состоялось в паломнической церкви (Wallfahrtskirche) в Кройцберге (Kreuzberg) в Швандорфе. Их дети были узаконены 7 июля 1859 года и носили отныне имя фон Кюнсберг, бароны и баронессы фон Фронберг.
Все же счастье супругов фон Кюнсберг продолжалось не долго. Историк этнограф Альфред Вольфштайнер отмечает, что здоровье Каролины возможно было ослаблено многочисленными родами, она умерла 24 июля 1859 года в возрасте 44 лет в замке Фронберг. Доподлинно точно неизвестно от чего умерла Каролина. Саркофаг с останками графини стоит в соседнем помещении, прилегающем к часовне замка. Её сын Макс уже в возрасте 24 лет остался круглым сиротой. Надгробный камень барона Вильгельма фон Кюнсберга (умер 20 мая 1874 г.) находится также в замке Фронберг.