לאחר כיבוש פולין על ידי גרמניה בתחילת מלחמת העולם השנייה הורע מאד מצב היהודים. הם רוכזו בגטאות, הכשירים שבהם נשלחו למחנות עבודה, ובשנים הבאות נשלחו מרבית יהודי פולין למחנות השמדה.
יוסף גויס לצבא הפולני עוד בטרם פרצה מלחמת העולם השנייה, ועם כיבוש פולין בספטמבר 1939 חצה את הגבול להונגריה. בהונגריה העמיד פני נוצרי ועבד עבודה מפרכת בכריתת יערות. הודות לפעולת ההסוואה שנקט ולתושייה שגילה, נותר בחיים. חלק מהזמן ישב בשבי, ובתקופה זו חושלו נפשו וגופו להסתגל לעבודה הקשה ביותר. לימים יאמר כי זו הייתה ההכשרה הגופנית המתאימה ביותר להמשך דרכו.
בתום המלחמה ראה לפניו רק דרך אחת והיא – עלייה ארצה. הוא ביכר שלא לבקר בעיר מולדתו כדי לא לחזות בחורבן ביתו ומשפחתו. תחת זאת הצטרף לקיבוץ הכשרה בבודפשט בירת הונגריה.
יוסף עשה את דרכו לארץ ישראל באניית המשא הקטנה "אנצו סירני". הספינה, שאורגנה על ידי המוסד לעלייה ב' של ה"הגנה", הפליגה מנמל ואדו-ליגורה באיטליה ב-9 בינואר 1946 כשעל סיפונה 908 מעפילים, מרביתם צעירים חברי תנועות נוער שונות. צפיפות רבה, ים סוער ומחסור במים ובמזון גרמו לנוסעיה סבל רב.
לא רחוק מחופי הארץ נתגלתה האונייה על ידי משחתות הצי המלכותי הבריטי. "אנצו סירני" הייתה אניית המעפילים הראשונה שתפסו הבריטים אחרי מלחמת העולם השנייה. האונייה אולצה להיכנס לנמל חיפה, שם השתלטו החיילים הבריטים על המעפילים והובילו אותם למחנה המעצר בעתלית.
כעבור כמה חודשים, עם שחרורו ממחנה המעצר, הצטרף יוסף עם קבוצת עולים שמנתה כ-50 חברים לקיבוץ גשר השוכן בעמק הירדן. הוא התאמץ לקנות לו ידיעה בשפה העברית ולהתערות בחיי הארץ, בעבודה, בחברה ובהווי הקיבוץ. למרות הקושי בהסתגלות לחיים החדשים, נשאר נאמן לחינוכו החלוצי והיה שותף למפעל ההגשמה.
כשפרצה מלחמת העצמאות לא היה יוסף מרוצה מעמדתו – הוא הופקד על הזרקור -ותבע שיוציאוהו לשמירת השדות. משנענו לו, צורף לגדוד 102 של חטיבת "גולני" – חטיבה מספר 1 ב"הגנה". גאה היה בתפקיד שניתן לו, הפגין שיקול דעת וגילה אומץ ומסירות בהגנה על קיבוצו.
בשל מיקומו האסטרטגי של קיבוץ גשר – על אחד ממעברי הירדן העתיקים והחשובים בארץ, גשר נחלים (ג'יסר אל מג'אמעם) – סבלו חברי המשק מהתנכלויות ערביי הסביבה כבר מראשית מלחמת העצמאות. במהלך המלחמה התחוללו באזור גשר קרבות קשים והקיבוץ (כיום אתר "חצר גשר הישנה") נפגע קשות, ובהמשך עבר לנקודה מרוחקת מעט מהירדן.
בכ"ד באדר ב' תש"ח (4.4.1948), בצאת יוסף וחבריו לשמירת השדות, ארבה להם כנופיה ערבית שפתחה באש לעברם. יוסף, שמיהר להגיש עזרה לחברו הפצוע, נפל לידי הפורעים ונרצח באכזריות.
