Casar de Palomero fue tomado en 911 por los árabes, que ya ocupaban buena parte de la península; en esa época los moradores construyeron una mezquita. A principios del siglo XI, en el 1002, el pueblo fue reconquistado por el Reino de León.

La localidad fue también un importante asentamiento judío, que se mantuvo hasta su expulsión por los Reyes Católicos.

El pueblo conserva testimonios interesantes de la presencia de las tres culturas: de la potencia militar y eclesiástica de los cristianos, del carácter comercial y mercantil de los judíos, y de la capacidad orfebre y manufacturera de los árabes.