Когда-то у сада была репутация «нехорошего места»: в позапрошлом веке здесь находилась усадьба Ворожцова, которого молва считала садистом. Своих крепостных он бил до смерти и закапывал в саду без отпевания. Его старший сын попытался донести в полицию на злодея-родителя, после чего озлобленный отец забил сына до смерти. Одна из дочерей Ворожцова умерла в молодости, а другая сбежала из дома. После смерти дворянина его жена ушла в монастырь, а дом в 1848 году сгорел дотла. После пожара усадьба долго стояла запущенной, пока городские власти наконец не решили привести место в надлежащий вид и устроить здесь место отдыха.
Постепенно на месте бывшей усадьбы высадили более 500 деревьев (среди них клён остролистный, вяз шершавый, берёза, тополь, дикая яблоня, дуб, сосна, рябина и калина). Из экзотических растений в саду произрастают лиственница сибирская, сирень венгерская, чубушник венечный и спирея калинолистная.
В 1906 году здесь размещались увеселительные заведения, летний театр, открытая эстрада и даже библиотека. До 1930-х годов сад являлся центральным парком культуры и отдыха, который за годы Великой Отечественной войны пришёл в запустение. В 1950-х тут были построены летний кинотеатр и детская площадка. «Нечистое» место бывшей усадьбы вновь расцвело, его перестали обходить стороной. В 1961 году был разработан проект реконструкции сада, который так и остался нереализованным. В конце 90-х годов зелёный островок стал чахнуть, фонари и скамейки растащили, стоящую в центре сада скульптуру слонёнка сломали, а деревья спилили.
Сегодня сад вновь принял ухоженный вид, появились дорожки, лавочки и фонари, и, несмотря на мрачные городские легенды, здесь любят проводить время и молодые люди, и мамы с детьми, и пенсионеры.
Отзывы о саду «Эрмитаж»