Em um dos contrafortes da serra de Portel, ergue-se em posição dominante sobre a vila medieval. Nas vizinhanças merecem visita, além do castelo, a Igreja Matriz da Vera Cruz, as grutas de Algar e a barragem do Alqueva.
Embora a região seja rica em testemunhos arqueológicos, a primitiva ocupação humana do sítio do castelo é obscura. A toponímiaPortel Mafomede, referida à época de D. Afonso III (1248-1279), transparece uma presença Muçulmana.
O castelo, em estilo gótico, apresenta planta heptagonal reforçada por torres de planta circular nos vértices. A sua forma, novidade na arquitectura militar portuguesa à época, parece ter sido inspirada no Castelo de Angers, na França. É dominado pos uma imponente torre de menagem, de planta quadrangular, que se ergue a cerca de vinte e cinco metros de altura, dividida internamente em dois pavimentos acima da linha do adarve, ambos cobertos por abóbada em cruzaria de ogiva. O pavimento inferior serviu de cárcere. Foi utilizada a pedramármore nos cunhais e nas janelas góticas. A porta de acesso à torre é em ogiva.
Esta torre protege o portão de acesso, a Norte, em arco apontado. Pelo lado Sul, a Porta de Beja determina um eixo viário interno em linha reta, ligando as duas portas. O conjunto conta com mais três portas, entre as quais a Porta do Relógio e a Porta do Outeiro. Na praça de armas abre-se uma cisterna e pode-se identificar os vestígios da Capela de São Vicente e as ruínas do paço ducal.
A cerca medieval da vila, não sobreviveu até nós. A defesa do castelo era complementada por uma barbacã, de que se conservam ainda importantes troços a Sul, Norte e Oeste, compostos por cortina reforçada por cubelos de planta quadrangular. É a essa barbacã reedificada por D. Manuel I, que corresponde a porta gótica encimada por brasões reais sobrepostos."
