Mwaka 1474 Malkia Isabella alikaa Alcazar wakati wa kutawazwa kwake kama malkia wa Castile, na mwaka 1570 Mfalme Felipe II aliolewa na bibi yake wa nne, Anna wa Austria, katika ngome.
Mfalme Felipe wa Pili alikuwa na wake wengi.