Holger Petersen var omkring 65 år, da han fik arkitekt Ingemann til at tegne det første udkast til Villa Baldersbæk. Han byggede ikke huset alene til sig selv. I sit testamente skrev han: "Det har været mit ønske og mine tanker med denne ejendom, at den efter min død skulle bevares til rekreation og til sommerophold for min familie, og at den skulle være et samlingssted og et bindeled imellem de forskellige medlemmer af familien, så vidt som det altid har været mine bestræbelser at knytte mine slægtninge sammen". Testamentet indeholder desuden nærmere regler for, hvorledes Baldersbæk skal ledes og med det klare budskab, at hvis familien ikke kan enes, holdes Villa Baldersbæk lukket, indtil man atter har opnået enighed.
Holger Petersen var dybt bevæget, da han den 29. juni 1910 kunne byde de første familiemedlemmer velkommen til Baldersbæk. Familien kom med toget til Holsted Station og kørte så i lukket landauer fra Holsted til Baldersbæk, hvor Holger Petersen sammen med værtinden stod på trappen og tog imod.
Huset var indrettet og møbleret som i dag, dog var der ingen moderne bekvemmeligheder, men derimod petroleumslamper og et gammeldags das ved siden af Hallen, hvor "alt" kunne høres.
I de første mange år blev der dagligt serveret øl og snaps til frokosten og rødvin til middagen. Hver søndag var der stor middag med tre slags vine, og hvert hold gæster blev beværtet med en champagne-aften. Der var desuden frit tobaksforbrug og cognac og likør til kaffen - og en frimærkekasse til fri disposition. Holger Petersen lod desuden fremstille postkort med motiver fra Baldersbæk. Som forretningsmand var Holger Petersen ikke ubevidst om reklamens magt, og når alle, der havde besøgt Baldersbæk udsendte postkort med motiver herfra, var de indirekte med til at udbrede kendskabet til hedesagen og københavnerplantagerne.
Villaen var udstyret med en stor grammofon forsynet med en kæmpe tragt og dertilhørende pladesamling. Om aftenen dansede de voksne i hallen, eller de nød en grammofonkoncert. Til tider blev grammofonen placeret ved statuen af Holger Petersen, og så lød tonerne ud over skoven og engen – også til stor glæde for naboerne.
Til daglig blev huset styret af en værtinde, der, iført lyseblå lærredskjole og med stort hvidt forklæde, tog imod gæsterne. Til at hjælpe sig havde hun køkken- og stuepiger. Baldersbæk var dengang en stor arbejdsplads for lokalbefolkningen. Hver dag skulle der bæres vand op til soveværelserne i spande, fyres op i ovnene og i det store jernkomfur i kælderen, natpotterne skulle tømmes, og der skulle pudses og rengøres lysestager og petroleumslamper. Sidstnævnte var en opgave, som husets yngre kvindelige gæster ofte hjalp med. Al maden var hjemmelavet og der var altid rigeligt med syltetøj og bagværk. Hver aften sørgede værtinden tillige for, at der lå et stykke chokolade på hovedpuden til de yngste familiemedlemmer.
En halv time før måltiderne blev der ringet på gong-gong'en, hvorpå gæsterne gik til deres værelser, gjorde sig i stand og skiftede tøj, inde de mødtes i hallen.
I kælderen hang en stor tavle, hvor der med kridt sirligt var opført hvem, der boede på hvilke værelser. Værtinden sørgede for at gæsternes specielle ønsker blev noteret, så man kunne huske det fra år til år. Således var der styr på hvem, der ønskede blød- eller hårdkogt æg til morgenmad, hvem der skulle ha´ to hovedpuder osv.
Dengang fik gæsterne tillige serveret morgenmad på værelserne på, en bakke nydeligt pyntet med friske blomster. Havde man om aftenen stillet skoene uden for døren, var de nypudsede næste morgen. Før skoven voksede op, blev der hver sommer anbragt liggestole ved dammene, hvor man kunne nyde udsigten og slikke sol. Klokken tre fik gæsterne serveret tykmælk og saftevand, hvorefter de var friske til en spadseretur i plantagen. Rugbjergmanden og Anders Bundgaards kilde var yndede mål.
En af de store begivenheder var, når plantør Simonsen tog familien med på jumpetur rundt i plantagen. De stejle skrænter og de dybe hjulspor betød, at turene godt kunne være ret nervepirrende og at passere åen, som der dengang ikke var bro over, kunne være en ret våd oplevelse.
Ellers blev der arrangeret udflugter til Høllund Søgaard, Gyttegaard og de øvrige københavnerplantager hos familier og venner der. Sidenhen, da bilerne havde holdt deres indtog, blev der ofte taget på ture til Vesterhavet eller Fanø.
For børnene var det en pragtfuld tid, når familien var samlet på Baldersbæk. Her var stalde og halmloft og dyr. Var man heldig, kunne man låne en hest hos plantøren, og så gik det vilde ridt gennem plantagen. Man skulle dog være hjemme i god tid, så man kunne nå at blive vasket og klædt om inden middagen.
For naboerne og skovens medarbejdere var det hvert år en festlig begivenhed, når der blev inviteret til Skt. Hans på engen ved Herredsstenen. I spisestuen var der dækket kaffebord med kringle og lagkager, inden man gik ned for at tænde bålet.
