Decentrato rispetto al paese, oggi frazione di Sumirago, domina l'intera valle dell'Arno, venne costruito nel XIV secolo come dimora di svago per la caccia.

Ha struttura massiccia a pianta quadrilatera, cortile centrale e una torre robusta e quadrata sull’angolo che guarda verso la valle dell’Arno. Nel 1614 il castello passa alla famiglia Bigli, grazie al matrimonio dell’ultima Visconti di Caidate. Al ‘600 risalgono le prime trasformazioni che muteranno il castello in villa residenziale, conservando tuttavia alcuni aspetti esteriori delle antiche origini. 

Il castello subì notevoli trasformazioni nel 1700 e nella seconda metà del 1800. Ha una struttura a pianta quadrilatera, cortile centrale e, sull'angolo che guarda verso la valle, una massiccia torre quadrata di origine tardo romana, che faceva parte del sistema difensivo lungo la fascia nord-occidentale delle Alpi. La facciata principale, esposta ad ovest, risale alla metà dell'Ottocento e si sviluppa su due piani fuori terra, trattati a pietra a vista.

Nel Parco, progettato a metà del XVIII secolo dall'architetto Balzaretto secondo la moda allora in voga del giardino all'inglese, sono presenti le cascine "Pianca", "Villanova" ed "Ex Chinetti", le cui linee architettoniche appaiono improntate alla massima semplicità e gli ambienti interni ad una estrema funzionalità, secondo lo spirito proprio dell'architettura rurale.

La proprietà, in origine alla famiglia Visconti, passò in eredità nel 1614 ai Bigli, conti di Saronno, per via del matrimonio di Baldassare Bigli con Giustina, figlia di Cesare Visconti e di Antonia Somagllia; nel 1775 l'ultima discendente della famiglia Bigli, Anna, sposò Eugenio Confalonieri Strattman e il castellò passò a questa casata, da cui discenderà Federico Confalonieri, il noto patriota milanese. Dal 1977 proprietari sono i conti Barbiano di Belgiojoso, avendola ereditata da Maria Confalonieri a seguito del matrimonio di Alberico Belgiojoso con Margherita Confalonieri.