Aunque haya vestigios de la presencia humana en el castillo de Castelo Branco que remontan a la pre y protohistoria, el castillo solo fue construido en la la Edad Media. Erigido por los Templarios, probablemente entre 1214 y 1230, fue delimitado por un recinto de murallas y torres. El rey D. Dinis presuntamente amplió los límites del castillo, sin embargo, hay evidencia de que fue el rey D. Afonso IV (1343) que construyó sus murallas.
A través de los grabados del libro Fortress, escrita por Duarte de Armas, podemos considerar que en siglo 16, Castelo era una ciudad fortificada, con calles estrechas y edificios con una gran puerta para el caballo y una puerta estrecha para el caballero y su familia.
