La bastia, arroccata su uno sperone roccioso al confine tra il Patriarcato di Aquileia e la Diocesi di Bressanone, dominava le vie che passavano per il Falzarego, in particolare quelle da sud (Belluno e Agordo), da ovest (Bressanone e Val Badia) e da nord (Ampezzano). In stretta comunicazione con altri fortilizi (Rocca Pietore, Selva di Cadore, Avoscan), faceva parte di un sistema che garantiva quindi il totale controllo sui traffici tra Agordino e Val Pusteria. I primi riferimenti storici sono successivi all’anno 1000, ma bisognerà aspettare le documentazioni relative al 1221 per avere delle notizie più precise. In quell’anno, il vescovo di Bressanone lo diede alla famiglia feudataria Schoneck (italianizzata in Colbello). Passò poi ad altre casate (Avoscano, Stuck), sempre vassalle dei vescovi-conti, finché, nel 1416, tornò sotto le dirette dipendenze di questi ultimi. Da allora fu utilizzato come piccolo presidio militare sotto il comando di un capitano. Di questo periodo, da ricordare il vescovo-filosofo Nicola Cusano che scelse il sicuro castello per passare lunghi soggiorni. Nel XVI secolo l’importanza della fortezza crebbe ulteriormente, vista l’apprensione dei vescovi nei confronti della politica espansionistica della Serenissima, che volgeva ora gli interessi verso l’entroterra. La zona dolomitica era infatti particolarmente ricca di risorse naturali, specialmente di legname e minerali, in parte estratti proprio a pochissima distanza dal castello. Le mutate condizioni politiche seguite alle guerre napoleoniche, ma anche l’esaurimento delle risorse minerarie, fecero decadere il castello che, abbandonato, fu gravemente danneggiato durante la prima guerra mondiale.