Κατά τη διάρκεια της Φραγκοκρατίας η επαρχία των Καλαβρύτων αποτελούσε τη μικρότερη διοικητική και φορολογική ενότητα του θέματος Πελοποννήσου. Όταν καταλήφθηκε η Κωνσταντινούπολη από τους Σταυροφόρους (1204) και δημιουργήθηκε το Πριγκηπάτο του Μορέως (1205), τα Καλάβρυτα έγιναν έδρα μιας από τις είκοσι βαρονίες του και χωρίστηκαν σε δώδεκα ιπποτικά φέουδα. Πρώτος βαρόνος ήταν ο Όθων ντε Τουρνέ, τον οποίο διαδέχτηκαν αρχικά ο Ιωάννης και στη συνέχεια ο Γοδεφρείδος. Στα χρόνια εκείνα δόθηκε στη πόλη το όνομα «Καλάβρυτα» και χτίστηκε το κάστρο (1208) ανατολικά της πόληςκαι αρκετά μικρότερα φρούρια στην ευρύτερη περιοχή.

Το 1263 η φραγκική βαρονία ανατράπηκε από τους Έλληνες, οι οποίοι έγιναν κυρίαρχοι της περιοχής. Αργότερα κυρίαρχοι των Καλαβρύτων έγιναν οι Ντε λα Τρεμουίλ (De la Tremouille), βαρόνοι της Χαλανδρίτσας, που από το 1257 ήταν αυτοτελής βαρονία, έχοντας υπό τον έλεγχο της ένα τμήμα της μέχρι πρότινος ενιαίας βαρονίας των Πατρών. Η δεύτερη φάση της φραγκικής κυριαρχίας κράτησε ως το 1330, οπότε οι Βυζαντινοί δεσπότες του Μυστρά, έχοντας ως στρατηγούς αρχικά τον Καντακουζηνό και στη συνέχεια τον Παλαιολόγο Ασάν, κατέλαβαν την περιοχή. Ένα τμήμα των Φράγκων παρέμεινε στην επαρχία των Καλαβρύτων, ασπάστηκε την ορθοδοξία και εξελληνίστηκε.

Όταν ο Θεόδωρος Α’ Παλαιολόγος ηττήθηκε από τους Τούρκους νοίκιασε τα Καλάβρυτα στους Ιωαννίτες Ιππότες της Ρόδου (1404). Τέσσερα χρόνια αργότερα όμως περιήλθαν και πάλι στους Παλαιολόγους. Ο Θεόδωρος Παλαιολόγος μετακάλεσε (1392) από την Αλβανία αρκετές οικογένειες για να ενισχύσουν τον αποδεκατισμό από την επιδημία πανούκλας πελοποννησιακό πληθυσμό. Από αυτούς ιδρύθηκαν τα δυο αλβανόφωνα χωριά των Καλαβρύτων η Λυκούρια και το Κγέρμπεσι.

Οι Τούρκοι θα γίνουν κυρίαρχοι της περιοχής το 1460, αφού κατέβαλαν την ισχυρή αντίσταση που πρόβαλε ο τελευταίος φρούραρχος των Καλαβρύτων Δόξας.

Το κάστρο των Καλαβρύτων, μαζί με εκείνο του Σαλμένικου (1461), ήταν τα δυο τελευταία που κατέλαβαν στην Πελοπόννησο οι δυνάμεις του Μωάμεθ Β’ του Πορθητή.