До революции В 1879 году император Александр II подарил на свадьбу своей родственнице, светлейшей княгине Евгении Максимилиановне Романовской, герцогине Лейхтенбергской (по мужу — принцессе Ольденбургской), имение в посёлке Рамонь Воронежской губернии. В 1883 году по проекту архитектора Христофора Нейслера началось возведение замка для супругов. За три года были возведены стены метровой толщины, а к 1887 году была завершена внутренняя отделка. Замок был построен в староанглийском стиле. Напротив дворца были построены ворота с башней и вмонтированными в нее часами швейцарской фирмы «Винтер», названный «свитским корпусом», так как там размещалась свита, сопровождавшая знатных особ, посещавших замок.
Сама же принцесса тем временем обустраивала жизнь в селе. В частности, она построила первую в России конфетную фабрику с применением паровых машин, которая получила название «Паровая фабрика конфет и шоколада» и позднее стала прародительницей Воронежской кондитерской фабрики. Продукция фабрики имела международное признание. Также в селе появилась водонапорная башня, а рядом с ней — два дома для прислуги принцессы. Именно при ней была учреждена стипендия Её высочества принцессы Ольденбургской, появились столовая и лечебница для местных жителей и железная дорога. При этом в посёлок постоянно приезжали новые крестьяне. В итоге Рамонь стала расширяться и из захолустного поселения превратилась в довольно зажиточное.
В 1901 году 33-х летний сын Евгении и Александра Ольденбургских Пётр женился на 19-летней сестре императора Николая II Ольге. В подарок им неподалёку от замка был построен особняк, прозванный «Уютным». Однако подарок не понравился Ольге, и для молодожён было куплено соседнее имение, названное впоследствии Ольгино.
Замок принцессы Ольденбургской после Октябрьской революции
Хозяйка замка была вынуждена перебраться во Францию, а затем в Канаду, город Торонто. Имение было разорено неким управляющим по фамилии Кох. С 1917 года в нём по очереди располагались казарма, школа, больница, заводоуправление и т. д.
Замок в годы Великой Великой Отечественной войны
В годы войны фашисты, узнав, что у хозяев замка немецкие корни, отказались его бомбить, разослав листовки: «Дворец бомбить не будем». Во время бомбардировок местные жители стали прятаться в нём.
С конца 1970-х годов замок закрыт на реставрацию. Всё это время здание непригодно для эксплуатации, но несмотря на это в нём проводятся экскурсии. В 2007 году территориальным управлением Росимущества по Воронежской области, администрацией области и администрацией Рамонского района было принято решение о сдаче замка в аренду сроком на 25 лет.Одним из основных условий арендного договора является сохранение замка как памятника архитектуры федерального значения. Однако конкурс не состоялся по причине того, что его участники высказались за увеличение срока аренды и включение в арендную плату (от 2 миллионов рублей в год) инвестиционной составляющей.
Весной 2007 года в Рамонь с дружественным визитом прибыл праправнук русского царя Александра II английский принц сэр Майкл Кентский. Он учредил именную стипендию лучшим студентам Воронежского государственного университета и, по слухам, собирался выкупить замок, однако местные власти не дали добро на эту сделку, поскольку объект является федеральной собственностью.
20 октября 2009 года в Рамони состоялась презентация проекта реставрации замка, выполненного немецкими архитекторами. Дворец также посетила герцогиня Ольденбургская Бибиан Дорнер. В планах инвесторов восстановление исторической части замка и воссоздание окружающей территории с сохранением всех имевшихся зданий, а также строительство гостиничного комплекса, который, по планам архитекторов, должен гармонично вписаться в исторический ансамбль. Инвестиции в проект планируются полностью с немецкой стороны. Общая сумма инвестиций составит около 40 миллионов евро. Инициатором проекта выступила немецкая компания «Ониксдата», автор проекта — архитектор Жан Пьер де Л'Ор.