Det var hans föräldrar äventyrslusta som gjorde att han hamnade i Sverige. Hela familjen med den då 17-åriga Kaj övergav Aalborg i Danmark och kom till Oaxen i Sörmland där han bland annat jobbade på kalkbruket.