Na podzim roku 1938 byl zatčen Alois Mühlberger. Josef prchá do Prahy, je však nucen k návratu, vyslýchán gestapem a na konci léta v rámci provokační akce obviněn z homosexuálního jednání. Od 28. října 1940 do 28. dubna 1941 byl vězněn. Z doby věznění se na proužcích balicího papíru zachovaly jeho zápisky. Po propuštění byl okamžitě odveden jako voják německé armády. Své válečné zážitky zachytil ve dvanácti válečných  denících.   Sloužil   v   severním   Německu, v Dánsku, v Rusku a Itálii. V roce 1944 byl nedaleko italské Sieny raněn. Dobu  rekonvalescence  strávil mimo jiné také v Janských Lázních. Poté byl odvelen do Alp, od května do poloviny července je v americkém zajetí. Po propuštění se snaží dostat povolení od- cestovat domů vlakem, což je ale pro Němce zakázáno. Nakonec se mu podaří odjet a 16. července se vrací do Trutnova.

Spisovatelův bratr Alois, významný sociálnědemokratický politik, byl po svém propuštění z vazby zbaven mož- nosti nadále působit jako učitel. Po skončení války byl jako antifašista českými úřady pověřen dozorem nad organizací transportů Němců z Trutnova.

Po návratu z války mohl Josef Mühlberger narozdíl od většiny svých německých krajanů v Trutnově zůstat. Pod vlivem vývoje politické situace se ale rozhoduje dobrovolně vystěhovat. Z Trutnova odjíždí transportem tzv. antifašistů vypraveným 11. srpna 1946 přes Norimberk, Augsburk a Ulm. Nejprve zakotví v Göppingenu, kde je ubytován ve skladu nábytku v bývalých kasárnách. V září 1946 se může nastěhovat do malého bytu.

Spisovatel ale nedokáže ze svého domova odejít bez toho nejcennějšího – své vzácné knihovny a ruko- pisů, ve kterých je uložen jeho dosavadní život. Obrací se přímo na prezidenta republiky Edvarda Beneše. V žádosti zdůrazňuje, že mu byla Benešem udělena Herderova cena, že nebyl členem NSDAP ani SdP a že mu bylo zakázáno publikovat. Jeho žádosti bylo vyhověno a mohl si do Německa „vzít všechno důležité…většinu své knihovny a rukopisy“.

Alois  Mühlberger  odjíždí  do Německa o dva roky později, a to 1 dubna 1948, což dokládá zápis pro Berní správu. Z celé rodiny v Trutnově zůstala pouze matka obou bratrů,  Anna Mühlbergerová. Zemřela doma dne 1 dubna 1958, ve věku 89 let. Je pohřbena na trutnovském hřbitově.

Vysídlení německého obyvatelstva z Trutnovska
Už v průběhu druhé světové války probíhala v domácím i exilovém  prostředí  diskuze  o  možnostech dalšího setrvání německé menšiny v poválečném Československu. Úvahy československých představitelů směřovaly k představě státu bez národnostních menšin, velký vliv měly  i  všeobecné  protiněmecké nálady a nedůvěra v další soužití Čechů a Němců v jednom státě. Proto byl ihned po osvobození uveden do chodu plán hromadného vysídlení německého obyvatelstva z Československa do Německa. Vysídlovací akce se nevyhnula ani Trutnovsku, kde se hlásilo před válkou k německé národnosti přibližně 56 000 obyvatel. Odsun původního německého obyvatelstva probíhal v letech 1945–1948, nejvíce Němců opustilo Trutnovsko v rámci spojenci odsouhlaseného odsunu v roce 1946. Pro většinu odsunovaných osob vedla cesta do Německa přes odsunové středisko v obci Mladé Buky a poté vlakovým transportem ze  stanice  Kalná  Voda   za   hranice   Československa.   Výhodnější   podmínky   při   vysídlení   měli tzv. antifašisté (dobrovolný odchod), kteří si mohli s sebou odvézt větší množství movitého majetku. Po ukončení   vysídlovací   akce   zůstalo   na   Trutnovsku   přibližně   5   000   Němců,   kteří   byli   zaměstnání v místním průmyslu nebo byli vyjmuti z odsunu jako antifašisté.