El nombre o topónimo de Abia parece proceder del celtizado “ap_ab_av” más el sufijo “_ia” que daría el significado de lugar de agua, del igual que el río Avia, lugar donde parece hubo un castillo levantado en un cerro. Ya a mediados del siglo XIV se le apellidaba de las Torres, seguramente de sus iglesias.
En el siglo II el geógrafo romano Claudio Tolomeo citaba en su geografía a la ciudad de Avia entre las mas importantes de las región Baccea, intenta por esa época dentro de la provincia romana de la tarraconense, si bien la arqueología moderna no nos lo confirma, aunque en la sacristía de su iglesia haya un fragmento de una estela romana dedicada a un soldado.
En el siglo XII Alfonso VII otorgaría un fuero a Abia igualando a todos los habitantes: Castellanos, Francos, Moros y Judíos. Era gobernada por entonces la villa de Abia por el Conde Gómez de la casa de los Lara, cuyo linaje dispuso de señorío a lo largo de seis siglos, tal y como señala su escudo municipal y otras dos de la fachada de una casa en la que se pueden apreciar las armas de los Marqueses de Aguilar, ya que aquí nació el V marques de Aguilar y el VIII conde de Castañeda llamado Bernardo Manrique de Lara.
En el siglo XIII en 1280, la reina doña Urraca el que hoy se conoce como el convento o monasterio de Santa María de los Barrios de Abia, sede de unas monjas bernardas que dependían de las Huelgas de Burgos.
Abia de las torres contaba con 424 habitantes a mediados del siglo XIX con 638 en 1900, con 535 en 1930, con 472 en 1960 y con 173 en 2006.