Obwohl es schon aus der Vor- und Frühgeschichte Spuren menschlicher Anwesenheit auf dem Burgberg von Castelo Branco gibt, wurde die Burg erst im Mittelalter errichtet. Sie wurde vermutlich zwischen 1214 und 1230 von den Templern erbaut und war mit einer Reihe von Mauern und Türmen geschützt. Angeblich war es König D. Dinis, der die Burg erweiterte, doch es gibt auch Hinweise, dass König D. Afonso IV (1343) diese Mauern errichten ließ.
Nach dem Buch der Festungen von Duarte de Armas kann man davon ausgehen, dass Castelo Branco im 16. Jahrhundert eine Festungsstadt mit engen Straßen und Häusern mit einem großen Tor für die Pferde und schmalen Türen für die Herren und ihre Familie war.