Otec Josef se narodil 6. prosince 1866 v Dolním Maršově v Krkonoších v německé rodině Mühlbergerů, která byla v Krkonoších a jejich podhůří usazena již po staletí. Matka Anna, rozená Irzingová, se narodila 21. května 1870 v Horšově Týně a pocházela ze šumavského Osvračína. Josef a Anna, spisovatelovi rodiče, uzavřeli sňatek 5. května 1890 v Osvračíně. Zpočátku žila mladá rodina poštovního úředníka v Maršově, kde se jim 8. června 1891 narodil první syn Alois. V roce 1894 se přestěhovali do Trutnova a 15. března 1900 se manželům Mühlbergerovým narodila dcera Augusta. Rodina žila v Trutnově na různých místech, zpravidla v nájmu. V jednom z těchto nájemních bytů se 3. dubna 1903 narodil druhý syn, budoucí spisovatel, Josef. Byt se nacházel nedaleko trutnovských Niv v domě s číslem popisným 145 na Středním předměstí (dnes ulice Polní, dříve Feldgasse). Teprve  v  roce  1911  si  otec  Josef  Mühlberger  mohl  dovolit  postavit vlastní dům. Získal pro něj místo na okraji města na Kryblici, v dnešní ulici Boženy Němcové (dříve Schreibergasse) čp. 119.

Josefův   bratr   Dr.   Alois   Mühlberger působil na různých školách v Trutnově jako   odborný   učitel.   Byl   významným regionálním sociálnědemokratickým politikem a místostarostou města Trutnova.  Jako  redaktor  působil v Ostböhmische Heimat. Oženil se s Annou Schneiderovou ze Žacléře a měl s ní dvě děti Elgu (18. 5. 1926) a Edgara (1. 10. 1927). Zemřel v roce 1965.

Josef Mühlberger starší zemřel 12. července 1936 v trutnovské nemocnici. Jeho žena Anna jej přežila o celých dvaadvacet let. Dne 1 dubna 1958  podlehla  srdečnímu  selhání.  Až  do  konce  svého života žila v domě, který nechal postavit její manžel na Kryblici.

Josefova sestra Auguste se provdala za zubního technika Karla Fuchse (narozeného 11. prosince 1897 v Jihlavě). Zprvu spolu žili v Poříčí, poté se přestěhovali do Trutnova. Manželství uzavřeli 28. června 1929 v Trutnově. Po sedmi letech se však rozvedli a manželství zůstalo bezdětné. Auguste se poté přestěhovala k matce na Kryblici, odkud se později odstěhovala do Svobody nad Úpou čp. 198.