Le tre grazie sono simbolo di legalità e portano benefici.[4] Con la fine del rinascimento e dell'attaccamento all'arte classica, la scultura ebbe vita dura. Un rettore del Seicento scrisse che le tre sculture erano indecenti e poco consone ad un luogo sacro.[4]
Nel XIX secolo, papa Pio IX, in visita alla Cattedrale, le notò e disse che era offensivo vedere nella sagrestia di una chiesa tre donne nude.[15] In realtà la libreria Piccolomini non era e non fu mai una sagrestia, ma l'osservazione del Papa non poteva essere ignorata e così l'opera cominciò un lungo peregrinare fino ad approdare al Museo dell'Opera del Duomo. Ritornò in loco alla fine dello stesso secolo, grazie alla supplica accorata di un artista russo rivolta al principe di Napoli Vittorio Emanuele, in occasione di una visita di quest'ultimo a Mosca.[4] Con l'avvento del fascismo si tornò a pensarla come Pio IX e quindi l'opera si accasò di nuovo nel Museo. Celebre a tal riguardo fu l'articolo di Ugo Ojetti sul Corriere della Sera del 25 febbraio 1934, intitolato Le Grazie in Prigione.[4] Fu Enzo Carli a riportare le Tre grazie nella Libreria nel 1972, ancorandone il piedistallo quattrocentesco al pavimento, forse per scoraggiare ulteriori spostamenti.