Antigamente, não existiam árvores, nem dentro nem fora das muralhas ou, se existiam, seriam muito menos do que as que há hoje.

Quando o castelo era uma fortaleza à espera de ser conquistada, não convinha nada ajudar o inimigo disponibilizando-lhe algo que lhe permitisse trepar ou mesmo incendiar e consequentemente lhe facilitasse o assédio.

O jardim do Castelo surgiu nos anos 50 do século passado e é um dos primeiros trabalhos de arquitetura paisagista feito em Portugal. O seu autor, o arquiteto Gonçalo Ribeiro Teles, pensou-o precisamente quando o castelo deixou definitivamente a sua função militar, de forma a enquadrar o monumento, por um lado, e para oferecer ao visitante zonas de lazer de elevado conforto ambiental.