En el cerro sobre el que se asienta Vejer (a 190 m. sobre el nivel del mar), y su entorno existen testimonios de presencia humana muy antigua. Bajo las murallas han aparecido materiales de la Edad del Bronce y recientes estudios arqueológicos han revelado la existencia de un poblado de tipo orientalizante datado en el S. VII a.C. En el mismo lugar se han encontrado algunos materiales y restos de muros de época turdetana, así como algunas cerámicas de época romana. En su Término se ha localizado también una villa romana con ricos pavimentos de mosaicos, y en la Ermita de la Oliva se conserva una inscripción romana reutilizada en época visigoda. De la presencia romana se podría destacar la "villa de Libreros" y el "Horno del Chorrillo".

En el 711 tuvo lugar la Batalla de la Janda, en la cual las tropas norteafricanas de Tarik derrotaron a D. Rodrigo. A partir de ahí y durante cinco siglos y medio, Vejer permaneció bajo dominio musulmán, siendo objeto de enriquecimiento de la esplendorosa cultura árabe - islámica de la que nos queda algunos vestigios como la puerta del castillo (S.XI), parte de las murallas y, como no, el entramado de sus calles.