Tot de 11e eeuw is de palts op het Valkhof nog het belangrijkste en grootste gebouw in de wijde omgeving. Er omheen liggen een aantal boerderijen en langs de Waaloever ligt een klein dorp. Hoe de gewone mensen er leefden weten we eigenlijk niet.

Al in de tijd van Frederik Barbarossa (1120-1190) moet deze streek van karakter veranderd zijn. Na een grote opknapbeurt van de burcht op het Valkhof, laat hij in 1155 trots in steen houwen dat hij het door 'Julius Caesar zelf gestichte paleis' in oude glorie heeft hersteld. Het dorp langs de Waal is dan al tot een stadje gegroeid. Na een grote brand wordt voor de bouw in plaats van hout steeds vaker steen gebruikt. Eerst haalt men de stenen uit de oude Romeinse ruïnes, later gebruikt men baksteen. 

Numaga komt jaren later, door politiek spel, in handen van hertogdom Gelre en ontwikkelt zich tot een welvarende handelsstad. Het wordt de hoofdstad van het kwartier van Nijmegen. Het hertogdom kende nog drie andere kwartieren, met elk een eigen hoofdstad. Uit deze tijd stamt de oude rivaliteit tussen Nijmegen en Arnhem, een van de andere hoofdsteden.

Numaga, rijk geworden door de handel, telt veel ambachtslieden. De gebroeders van Limburg worden hier geboren in een ambachtsfamilie. Vader Arnold was beeldsnijder en moeder Mette werkte als borduurder. Haar broer was de beroemde schilder Jan Maelwael. Paul (1375), Herman (1378) en Johan (1385) gingen in de leer bij hun grootvader Willem Maelwael. Zijn werkplaats lag op de hoek van de Burchtstraat en de Stockumstraat. Daar leerden de broers schilderen, tekenen, houtsnijden en edelsmeden.

Onder de ambitieuze hertog Willem van Gulik, die regeert van 1377-1402, komt hertogdom Gelre verder tot bloei. De hertog verblijft regelmatig op de Valkhof en neemt altijd zijn hofhouding mee. Zijn bezoeken bieden een gelegenheid voor opdrachten aan plaatselijke ambachtslieden. In het begin van hun carrière werken ook de Gebroeders van Limburg voor hertog Willem van Gulik. Via hun oom Jan Maelwael komen ze in Frankrijk terecht. Rond 1410 treden ze in dienst van Duc de Berry, een groot verzamelaar van kunst en broer van de Franse koning. Daar maken Paul van Limburg en broers Herman en Johan hun bekendste werken. Ze zijn in 1416 in Frankrijk bijna tegelijk gestorven, waarschijnlijk vanwege een pestepidemie.