Kronprinsesse Louises Asyl" blev en del af Brumleby den 14. september 1871. Det var således ikke med fra begyndelsen, da Brumleby blev planlagt. Det skal ses på baggrund af, at "Bestyrelsen for Lægeforeningens Boliger" var forsigtige pga. af andre tilsvarende bestyrelsers erfaringer med lukninger af etablerede institutioner, der ikke kunne hænge sammen økonomisk. Mange steder havde andre bestyrelser oprettet badstuer og folkekøkkener, men disse kunne ikke hænge sammen økonomisk, og for ikke at komme i samme situation udskød "Bestyrelsen for Lægeforeningens Boliger" konstant oprettelsen af et Asyl, også fordi det kostede penge, og fordi der var uenighed blandt medlemmerne af bestyrelsen, om det lå inde for bestyrelsens opgaver.
Det var først i 1871, at bestyrelsen besluttede at bygge et Asyl og selv stå for driften af Asylet. Det skete i forbindelse med bygningen af Brumlebys sidste to blokke, blok N og O. Asylet blev anlagt i Blok N og var fra begyndelsen for lille. Brumleby havde da 400 børn under den skolepligtige alder.
Asylet havde halvdelen af Blok N's stueetage. Der var en stor gennemgående asylstue, en mindre legestue og to små værelser til garderobe og sovestue. Desuden var der en bolig til bestyrerinden og hendes medhjælp. Asyllokalerne havde et større rumindhold med plads til "Asyltrappen" som børnene anbragtes på i den store asylstue. Der var anlagt kælder under blokken, hvor "Husholdningsforeningen" havde lokaler.
Antallet af indskrevne Børn var i 1871-72, 112.
I 1886 blev der lavet tegninger af Arkitekt Klein til den nye Asylbygning ud mod Østerbrogade lige ved Jakobs Kirkes Plads. Ved Asylet findes en forholdsvis stor og "med Gymnastikapparater forsynet Legeplads", hvor børnene kunne tumle sig, når vejret tillod det. Bygningen indeholdt foruden bolig til Bestyrerinden og hendes Medhjælpere en smuk udstyret sal 250 kvadratalen stor, hvori børnene hovedsagelig skulle opholde sig, to mindre stuer, hvori en del af børnene kunne beskæftiges på forskellig måde, dels med sytøj, dels med allehånde lette papirarbejder, leg med klodser osv. på lignende måde som i børnehaver, hvad der har vist sig at være til glæde og udvikling for børnene. Endelig fandtes der en sovestue, hvor en snes børn ad gangen kunne få en middagslur. "Asylets udstyrelse bød allehånde lettelser med hensyn til renlighed og orden"; således var der i den store sal en lang, lav vask med en del vandhaner, og væggene var fra gulvet "i et Par Alens Højde bedækkede med Porcelæn, der ved de mange ibrændte Billeder tilmed bød Børnene megen Adspredelse".
"Asylbygningen åbnedes den 20. maj 1886 kl. 14.00, ved hvilken lejlighed Bestyrelsen for Lægeforeningens Boliger var tilstede. Hds. Kongelige Højhed Kronprinsessen lod Børnene traktere med Chokolade og kom selv uventet tilstede for at tage den nye Asylbygning i øjesyn. Den 26. maj toges Bygningen i brug".
Dette var lidt af den gamle fortid..........., men så skete der nye ting.........
Den første januar 1996 købte København kommune bygninger af Byfornyelse Selskabet,hvorefter Københavns Arkitekt gruppe stod for en total renovering af huset. På det tidspunkt havde huset det ikke så godt, der var huller i taget, gamle rør, varmesystemet virke ikke o.s.v.
De startede august 1996 og i tiden, mens huset blev ombygget, var børnehaven udflytter til Stokholmsgave (Klampenborgvej ). Vi havde opsamlingssted på kirkepladsen, hvor der var stillet en skurvogn op. Børnehaven bestod da af 40 børn.
De blev færdige med huset til indflytning maj 1997, og da blev børnehaven lavet om til en integreret institution, det vil sige, at vi nu skulle have 12 vuggestuepladser og 44 børnehavepladser.
Den 22. maj 1997 blev huset genindviet og skiftede navn til
Børnehuset Skt.Jakob