Αν και ο δρόμος για να φτάσει κανείς στην Παναγία του Βράχου είναι χωμάτινος, είναι ωστόσο αρκετά βατός και εύκολος μέχρι το σημείο. Στην πραγματικότητα, πρόκειται για ένα πολύ παλιό ασκητάριο, τοποθετημένο σε μια πολύ βαθιά ρωγμή της πέτρας, όπου σύμφωνα με την παράδοση, λειτούργησε ως αποθήκη τροφίμων αλλά και ως καταφύγιο των κατοίκων της περιοχής κατά την περίοδο της Τουρκοκρατίας. Μάλιστα, φημολογείται πως λειτούργησε εκεί και κρυφό σχολειό.
Σύμφωνα με την παράδοση το εκκλησάκι της Παναγίας του Βράχου ιδρύθηκε από μια νεαρή Ταρσιανή γυναίκα, η οποία σώθηκε από βέβαιο θάνατο κατά την άλωση της Ταρσού από τον Μωάμεθ Β' το έτος 1458.
Όταν λοιπόν ο Μωάμεθ Β’ πολιόρκησε το κάστρο της Ταρσού, ανάγκασε τους πολιορκημένους να παραδοθούν. Πολλοί από αυτούς παραδόθηκαν, άλλοι δολοφονήθηκαν ή πιάστηκαν αιχμάλωτοι και μερικοί κατάφεραν να σωθούν. Οι περισσότερες από τις γυναίκες πιάστηκαν για σκλάβες, άλλες τις πέταξαν από τον βράχο της Ταρσού, ενώ υπήρξαν και περιπτώσεις που γυναίκες πήδηξαν μόνες τους από τον βράχο για να μη γίνουν σκλάβες, ακριβώς στο σημείο που είναι σήμερα η εκκλησία της Παναγίας.
Υπήρξε όμως μια νεαρή μητέρα με το μωρό στην αγκαλιά της που ενώ ικέτευε για το παιδί της, την έριξαν από το βράχο μαζί του. Ως εκ θαύματος, έπειτα από έκκληση βοήθειας στην Παναγία, η γυναίκα βρέθηκε στη βάση του κάθετου βράχου σώα και αβλαβής, διαμορφώνοντας αργότερα την σχισμή που υπήρξε πάνω από το κεφάλι της σε αυτοσχέδια εκκλησία, στη Χάρη της Παναγίας.