Por se situar na costa, esta região era frequentemente assolada por piratas, que pilhavam e assaltavam a população e as embarcações. Nos séculos XVI a XVIII, o corso magrebino afligiu as costas portuguesas de forma dramática. Para fazer face a este clima de medo e instabilidade, no final do século XVI foi mandado edificar o forte de São Clemente (castelo de Milfontes).
Vila Nova de Milfontes era uma pequena vila piscatória e como sede de concelho nunca foi um pólo atractivo (no ano de 1801 tinha apenas 1559 habitantes), perdendo este título em 1836 quando foi integrado no concelho do Cercal e posteriormente (1855) no deOdemira ao qual ainda hoje pertence.
Esta localidade está ligada ao grande feito da aviação portuguesa que foi a primeira travessia área entre Portugal e Macau, realizada por Brito Paes e Sarmento Beires. Foi a 7 de Abril de 1924 que os pilotos partiram do Campo dos Coitos, junto a Milfontes, rumo ao Oriente. Em homenagem aos aviadores e ao seu feito histórico, foi erguido na Praça da Barbacã, junto ao forte, um monumento que recorda a heróica viagem. Note-se que o Comandante Brito Paes era natural do concelho de Odemira, mais concretamente de Colos."
