Het tweede slot Woudenberg werd gebouwd door Willem van Colverschoten op grond die hij in leen had gekregen van de heer van Abcoude. Deze Willem van Colverschoten was in 1412 rechter onder bisschop Frederik van Blankenheim en werd in 1420 belast met de verdediging van de oostelijke grenzen van het Sticht. Algemeen wordt aangenomen dat het tweede huis Woudenberg omstreeks 1410 is gebouwd. In ieder geval woonde Willem met zijn familie in 1416 in Woudenberg, want in dat jaar veroordeelde de raad van Utrecht drie personen die Willems vrouw en dochter daar hadden lastiggevallen. Zij moesten als genoegdoening 45.000 stenen aan de stad Utrecht geven, ieder voor zich 'een keerse van enen pond was' betalen en op bedevaart naar 's Hertogenbosch gaan. In 1440 verkocht Willem 'die huysinge ende hofstede tot Woudenberch dat hi daer ghetimmert heeft bi der kerke' aan Willem van Montfoort. Door koop kwam het kasteel in 1460 in handen van de familie Van Renesse, die het kasteel in 1641 weer verkocht aan Godard van Reede, heer van Amerongen.