Первым владельцем дворца был маркиз Одескальки. Именно он назвал имение Ольмо из-за вяза, который посадил Плиний Младший. Строительство особняка шло около 20 лет. В результате получилось весьма скромное снаружи и богато украшенное внутри здание. При проектировании архитектор придерживался традиций неоклассицизма, зато интерьеры созданы знаменитым Фонтаной. Его фрески отлично сохранились, а лепнина и позолота обновлены во время реставрации.
Вообще, парк виллы привлекает туристов даже больше самого здания. В нем построен небольшой домашний храм, течет рукотворный ручеек. А у самого дома гостей встречает необычный фонтан: маленькие дети оживленно играют с морским чудищем. Парк очень чистый и ухоженный, одна из аллей спускается к живописному озеру. Здесь приятно прогуляться и отдохнуть от дневной духоты. В Ольмо в разное время гостили Наполеон Бонапарт, королевы Сардинии, Сицилии, Джузеппе Гарибальди. Это добавляет вилле очарования.