В один из летних дней в Рамонь приехали члены царской семьи: русский немец принц Александр Ольденбургский и его супруга Евгения, по линии матери великая княжна Романова, по отцу – герцогиня Лейхтенбергская, по мужу – принцесса Ольденбургская.
  Принцесса не могла довольствоваться старомодным помещичьим домом. Ей полагалось иметь дворец, который восхищал бы любого из прибывших в имение. Строительство дворца началось с изготовления так называемого «пяточного» кирпича. Для этого использовался местный суглинок. Его месили, погоняя лошадей по кругу, домешивали ногами и избивали в деревянные формы, пристукивая пятками босых ног.
  Строительство дворца в стиле замков английских королей поручили иностранным архитекторам. О том, кто проектировал и строил дворец, официальных данных пока нет, но, по свидетельству старожилов, руководил строительством некто Христофор Нейслер. Закладка состоялась в 1883 году. Три года воздвигались стены метровой толщины. В 1887 году была закончена внутренняя отделка.
  С особой тщательностью принцесса отделала комнату своей библиотеки. За границей были заказаны деревянные полированные детали для облицовки потолка. На шестиугольные пластины этих деталей нанесли путем выжигания рисунки, а в трех углах комнаты — семейные инициалы: А, Е, П (Александр, Евгения, Петр). На одном из шестигранников можно прочитать такую надпись: «1887, февраль, март, апрель, май. Рисунки составлены А. М. Абель. Выжжено Евгенией пр. Ольденбургской, фон сделан фрейлиной А. Д. Шиповой, полковником А. Ч. Ганикс». Как видно из этого текста, работы по отделке потолка продолжались четыре месяца.
  В те же годы против дворца, па одной линии с воротами, из того же пяточного кирпича и в том же стиле был сооружен дом с чердачными комнатами под крышей. Его назвали «свитскими номерами», гак как здесь обычно размешали свиту, сопровождавшую знатных особ, приезжавших в имение принцессы.
  О курантах, вмонтированных в башню въездных ворот, бытует такая легенда. По случаю окончания строительства дворца принцесса устроила банкет. Съехавшаяся знать, забыв о времени, развлекалась до рассвета. На заре кто-то из гостей, вышедших на балкон, пошутил: «Гости не задержались бы так долго, если бы ея императорское высочество установила на башне ворот часы, которые отбивали бы время колоколом». Высказанная мысль понравилась принцессе. Вскоре в Рамонь привезли куранты швейцарской фирмы «Винтер» и установили на башне.