I Varano, per oltre trecento anni signori di Camerino, costruirono a difesa e controllo del loro territorio un formidabile scacchiere fortificato che si avvaleva di numerose costruzioni militari: rocche, torri e cinte fortificate. Fra il 1260 e il 1280 Gentile I da Varano fece edificare le due torri della Rocca d’Ajello, il cui nome deriva forse dalla parola “Agellus” (campicello). Erano torri di avvistamento, da cui si effettuavano collegamenti a vista con altre fortezze dello scacchiere e si controllava il vicino fiume Potenza, la conca del Palente e la gola che conduceva a torre Beregna, detta anche “Troncapassi”.
Nel 1382 Giovanni da Varano detto “Spaccaferro”, per contrastare le mire espansionistiche di Matelica e San Severino, realizzò una linea difensiva che si estendeva per circa 12 chilometri, da Torre Beregna, crollata in tempi recenti, alle bocche di Pioraco. Ne facevano parte le due torri di Rocca d’Ajello, Torre del Parco (detta “Torre del Ponte” in quanto difendeva il ponte sul fiume Potenza), il castello di Lanciano (trasformato in splendida villa con grande parco da Giovanna Malatesta, sposa di Giulio Cesare Varano, alla fine del sec. XV) e la torre Porta di Ferro a Pioraco, non più esistente. Le difese della linea erano costituite da fosse, terrapieni e da una sorta di cavalli di frisia la cui realizzazione richiedeva una grande quantità di alberi: da qui il nome di “Tagliata” o “Intagliata”.

La trasformazione del complesso sarà portata a compimento nel 1475 da Giulio Cesare da Varano le cui iniziali figurano in un frammento di affresco ritrovato nella Sala d’Armi. Una delle sue figlie, Camilla Battista, fondò il monastero delle Clarisse di Camerino e lasciò numerosi scritti di argomento religioso. E’ stata canonizzata il 17 ottobre 2010 da Benedetto XVI.
Nell’inventario dei beni dei Varano fatto redigere nel 1502 da Cesare Borgia, impadronitosi dello stato di Camerino, Ajello è definito “Villa con Rocca”.
Dopo la fine della signoria dei Varano, a metà del ‘500, il castello passò allo Stato della Chiesa e quindi a varie famiglie fra cui i Massei e i Bruschetti. Nella seconda metà dell’Ottocento fu acquistato da Ortenzio Vitalini, ai cui discendenti tuttora appartiene.
La chiesa di San Biagio, antistante il castello, è una parrocchia della Diocesi di Camerino. Sorge sui resti di un’abbazia del IX secolo, dipendente dall’antica abbazia di Sassovivo a Foligno. L’affresco absidale, datato 1523, è opera di un pittore della scuola di Girolamo di Giovanni. Vi sono rappresentati, ai piedi del Cristo Crocifisso, Maria, Giovanni e il Vescovo San Biagio.