Le village est situé dans un site exceptionnel, au sommet d'une falaise percée de grottes, en à-pic sur la rivière du Lot. Au XIème siècle, le site d'Albas était nommé " Castrum Albaribus ", puis " Albars " ou " Albas ". Certains y voient le nom occitan du saule blanc (" Salix alba "), arbre à baies, blanc et tendre, qui pousse sur les terrains humides. Pour d'autres, la racine celtique " alba " signifie colline ou forteresse.