Por entre as ruas medievais que atravessam o perímetro do castelo, descobrem-se os sinais da velha judiaria de Penamacor. Próxima da fronteira, a vila fundada por Gualdim Pais terá sido o espaço perfeito para servir de refúgio aos judeus que, em 1492, foram expulsos de Espanha pelos Reis Católicos.
Porém, o que destaca Penamacor entre outras terras raianas não são os vestígios judaicos deixados por esta comunidade ancestral mas sim o facto de ser o berço de uma das mais emblemáticas figuras da cultura europeia do século XVIII, o médico e filósofo António Ribeiro Sanches. Cristão-novo, perseguido pela Inquisição portuguesa ao longo de muitos anos, sob a acusação de nunca ter renunciado ao Judaísmo, foi médico de Catarina da Rússia e os seus escritos revolucionaram o ensino da medicina em Portugal.
