Segundo uma lenda já muito antiga, a Virgem Maria apareceu a uma filha de um oleiro e mostrou-lhe a localização de um tesouro no local onde hoje está o Convento das Servas.
Com o ouro achado construiu-se uma ermida, gerida por uma irmandade de mulheres denominada Servas de Nossa Senhora. Em 1598, o Padre Mestre Pedro Caldeira deixou todos os seus bens à Ordem de São Francisco para transformar a ermida num convento. A primeira pedra do Convento foi lançada em 1604, sob o padroado do Duque de Bragança, D. Teodósio II. Em 1644 concluiu-se a obra, sendo que no ano seguinte veio uma comunidade de freiras do Convento das Chagas de Vila Viçosa para ocupar o convento.
Trata-se de uma construção monumental com um dos maiores claustros do país. A entrada da igreja faz-se pelas duas portas laterais como acontece sempre nos conventos femininos. No interior preserva-se um importante núcleo de pintura mural dos séculos XVII e XVIII.