Door nog onbekende oorzaak was Woudenberg uit het bezit van het gelijknamige geslacht geraakt. Waarschijnlijk is deze Elias dezelfde die we later in de veertiende eeuw tegenkomen in Woerden en omgeving. Deze komt in 1369 als knaap voor onder de leenmannen van Ghyote, vrouwe van Egmond, en wordt vermeld als "neef van de leenheer". In 1376, tijdens de Utrechtse oorlog, houdt hij, in opdracht van hertog Aelbrecht, met 20 gewapende mannen het huis Woerden. Voor iedere dag zal hij 4 oude schilden ontvangen, hetgeen neekwam op een bedrag van 804 oude schilden. Elias en zijn mannen weten het dus 201 dagen uit te houden. De hertog beleent hem op 17.1.1376 voor dat bedrag met 12 morgen te Alphen, 8 morgen in Hedikendorp, 8 morgen aan de Linschoten en 4 morgen in Cattenbroek. In 1383 worden Elias van Woudenberg en zijn medeplichtigen door de paus veroordeeld om de door hen sedert 1378 toege-eigende goederen Engbroek en Ten Horst aan het kapittel ten Dom terug te geven, op straffe van excommunicatie. In het jaar daarop verbindt Elias zich om het kapittel niet meer te hinderen in het bezit van voornoemde goederen, waarna bisschop Florens, als scheidsrechter de goederen aan het kapiottel toewijst. Elias wordt op 7.5.1398 opgeroepen voor de tocjt naar Friesland en overlijdt na 13.12.1399. Waarschijnlijk is hij dezelfde die van 1367 tot 1397 als getuige wordt vermeld in de leenregisters van IJsselstein. Hij bouwt het huis Woudenberg te Woerden, dat heeft gestaan op Geestdorp nr. 33, waar zich thans nog een boerderij bevindt met de naam "Woudenberg".