In 1387 (de 28 jaar erfpacht zijn dan afgelopen) wordt Drakestein gepacht door de zoon van Werner, Frederik van Drakenborg. Deze Frederik bezit ook Drakenborg en een steenhuis in Houten (dat een voorganger van het huidige kasteel Heemstede (II) was). In 1403 krijgt hij van de stad Utrecht toestemming om op het kasteel te wonen, zonder zijn burgerrecht te verliezen. Hij was getrouwd met Cornelia Taets van Oudaen, waardoor ook Kasteel Oudaen in de familie komt. Het is niet precies duidelijk wanneer Frederik is gestorven. We vermoeden in 1436, omdat in dat jaar de 3 kastelen worden beleend aan Johan van Drakenburg.
Omstreeks 1401 kreeg Frederik, Werners zoon, van de stad Utrecht toestemming om op Drakensteyn te gaan wonen, zonder zijn burgerrecht te verliezen. Frederik was schepen en burgemeester van Utrecht. Frederik was gehuwd met Cornelia Taets van Oudaen. Waarschijnlijk is Federik overleden in 1456 en nam zijn zoon Johan Drakensteyn over en later diens broer Johannes. Deze had problemen met schulden van zijn broer en moest Drakensteyn tijdelijk afstaan aan het domkapittel, maar in 1485 wordt hij toch weer met Drakensteyn beleend.
Uit een oorkonde van 1390, de oudste die de gemeente Baarn kent, blijkt dat er inderdaad een stadsbestuur is. Dat stadsbestuur, de burgemeester, Schepenen en Raad, geeft aan de heer Frederik van Drakenburg verlof om een vaart naar de Eem te graven. Met een goede waterweg naar zee voor de handelsscheepvaart, een bloeiende landbouw en veeteelt, de omringende bossen voor het nodige brand- en timmerhout en ook de verturving van het landgoed Groeneveld, groeit Baarn uit tot een welvarende stad.
Stadskasteel Drakenburg
Dit stadskasteel staat aan de Oudegracht, nr. 114, op de hoek Oudegracht/Drakenburgstraat te Utrecht. Het stadskasteel Drakenburg is mogelijk het oudste huis van Utrecht: mogelijk werd het al in de 11e eeuw gebouwd. Het huis heeft geen weergang met kantelen gehad, maar ondanks dat, moeten we het toch rekenen tot de stadskastelen, omdat het een groot samengesteld huis is. De kapconstructie dateert uit 1300. Het geslacht Drakenborch komt voort uit een heel oud Stichts geslacht, dat nog tot 1328 de naam van 'Wernaers Sone' voerde. In dat jaar echter gaat Frederik haren Wernaers Sone zich Van Drakenborch noemen. In 1300 komt het huis voor in een schepenoorkonde en wordt dan 'Vredericx steenhuse, harer Werners Sone' genoemd, 'daer hi nu in woent, ghelegen tusschen haren Jans Brugghe ende der Beyerbrugghe an die hoestside van der graft'. Het huis moet toen al uit meerdere verdiepingen hebben bestaan, omdat er gesproken wordt over 'den nedersten solre'. De eigenaar van Drakenburg leefde in de 13e en begin van de 14e eeuw in voortdurende onmin met de overbuurman van het stadskasteel Oudaen, tot in 1425 Cornelia van Drakenborgh een relatie kreeg met Frederic van Oudaen.
Frederik, de tweede. Schout en Schepen te Utrecht van 1383 tot 1431. Maarschalk van Eemland in 1390.