La leggenda vuole che sull’isolotto sorgesse in tempi remoti un carcere femminile ma gli archeologi non hanno trovato resti di carceri. Un’altra leggenda narra che il conte di Capaci s’invaghì di una donna del luogo e la fece imprigionare sull’isolotto di Isola delle femmine perché nessun altro uomo la toccasse. Ma lei non lo ricambiava e in una notte di maestrale, mentre il mare era in tempesta, si gettò tra gli scogli, morendo. Da allora, ogni anniversario della sua morte, si sentono le sue grida provenienti dall’isolotto. Diverse leggende hanno subito il fascino esercitato dalla torre ormai in gran parte diroccata che sovrasta l’isolotto. Quella più conosciuta considera la torre come prigione per sole donne. Inoltre il nome "isola delle femmine" è frutto di un lungo processo di italianizzazione, infatti l’antico nome dell’isolotto, secondo la tradizione popolare, era "insula fimi", anch’esso frutto di un processo di omologazione e derivato da "isola di Eufemio", un navigante che attraversava costantemente l’isola.
