Borba foi elevada a Concelho no dia 15 de Junho de 1302, graças à Carta de Foral dada pelo rei D. Dinis.
D. Dinis mandou construir este castelo porque anos antes, em 1297, foi assinado o Tratado de Alcanices, que ainda hoje estabelece as fronteiras entre Portugal e Espanha. Borba assumia, juntamente com outros castelos de fronteira, uma função militar importante de observação, já que das suas muralhas se avista todo o território em direção a Espanha. Em caso de invasão, era a última defesa antes de Estremoz e Vila Viçosa.
Porta de Elvas ou Porta do Celeiro
A Norte encontra-se a Porta de Elvas que ainda mantém as suas duas torres e terá adquirido este nome por apontar no sentido da cidade de Elvas. Desde o século XVIII passou a ser conhecida como Porta do Celeiro por aí se encontrar um Celeiro Comum.
Porta de Estremoz
Na Carta de Foral dada pelo rei D. Dinis, mandou o Rei que os borbenses construíssem, às suas custas, um castelo que defendesse a vila. Esta ordem régia foi cumprida, como atesta a lápide de fundação do castelo, feita em mármore e que está colocada na Porta de Estremoz. A Porta de Estremoz está virada a Oeste, em direção àquela localidade.
Porta da Torre do Relógio
Esta porta perdeu funcionalidade logo no séc. XV, quando se construiu o bairro em "espinha de peixe", núcleo urbano que obrigou ao desvio da estrada para Évora. Com o seu entaipamento a Rua Rodrigo da Cunha Ferreira (antiga Rua Direita) tornou-se num beco, passando a chamar-se Beco da Torre. A porta foi reaberta em 2014, tornando outra vez possível a entrada pelo lado Sul a esta estrutura urbana (interior da muralha).
Torre da Prisão
Na Torre da Prisão do castelo de Borba escreveu-se uma das mais sangrentas páginas da História de Portugal. No ano de 1662, durante a guerra da restauração, o exército espanhol, comandado por D. João de Áustria, cercou Borba, tendo contado com a aguerrida resistência do alcaide-mor Rodrigo da Cunha Ferreira. Contudo a sua corajosa oposição de nada valeu, pois após a rendição, o alcaide e os seus homens foram considerados traidores e, por isso, foram enforcados.