Intorno al 1355, il signore di Milano Bernabò Visconti, grande appassionato di caccia, scelse Pandino per farvi costruire un castello per poter comodamente risiedere in questi luoghi e dedicarsi alla sua attività prediletta; il nostro territorio infatti, in quell’epoca era ancora ricco di boschi abitati e selvaggina. La costruzione ha la forma tipica dei castelli viscontei di pianura dell'epoca: pianta quadrata con quattro torri quadrate angolari, cortile interno con porticato ad archi acuti al piano terra e loggiato superiore con pilastrini quadrati.

All'esterno sono visibili le numerose finestre, monofore al piano terra, in origine destinato alla servitù, bifore al piano superiore, riservato ai nobili. Gli ultimi proprietari furono i D’Adda, che nel corso del XIX secolo diedero il castello in affitto, sia come abitazione che come sede di svariate attività. Nel 1947 il comune riuscì ad acquistare il castello e negli anni ’50 cominciarono i lavori di restauro. Oggi il castello ospita gli uffici comunali , la mensa della scuola casearia e numerose manifestazioni.

Il castello è una delle residenze meglio conservate di tutta la Lombardia, poiché è ancora oggi molto simile al proprio aspetto originario.