Het Spanjaardsgat bestaat uit twee verdedigingstorens, aangelegd door Graaf Hendrik III. De linker toren heet 'Granaattoren.' Omdat in de rechter toren postduiven werden gehouden voor Willem van Oranje, kreeg die de naam 'Duiventoren'. De torens doen nu dienst als kapellen en in de Duiventoren huist ook het voorlichtingscentrum van de Nederlandse Defensie Academie waarvan de KMA onderdeel is.

Veel mensen denken dat hier in 1590 de list met het turfschip plaatsvond, maar dat gebeurde een stukje verder, bij het tegenwoordige sportterrein van de KMA. Turfschipper Adriaan van Bergen heroverde toen het Kasteel op de Spanjaarden door in zijn schip soldaten van Prins Maurits binnen de kasteelmuren te smokkelen.