Désignée sous le vocable de Saint-Jacques, la chapelle s'inscrit dans le castrum médiéval de Luzech. Construite en briques, elle se distingue par rapport aux édifices religieux du Quercy.
L'église paroissiale Saint-Pierre, entourée de son cimetière, est implantée à l'écart du village : à la limite du Barry (faubourg), loin du castrum de Luzech, selon une disposition courante dans la région.