הוריו ושתי אחיותיו של יוסף נרצחו על ידי הנאצים. הוא עצמו – שריד יחיד למשפחה – חזר לעירו מהסמינר בטאלז' וזכה לראותם לפני שנלקחו, מיד לאחר מכן נכלא בגטו ונשלח לעבודות כפייה קשות. הוחזק במחנה ריכוז בשבלי ואחר כך במחנה עבודה ברדזבילישקר, ונאלץ לעסוק בחטיבת עצים ביער הסמוך. בהמשך נשלח עם שאר שרידי מחנות העבודה לפנים גרמניה, למחנה ההשמדה דכאו.
דכאו, סמוך למינכן, היה מחנה הריכוז הראשון בגרמניה. שימש תחילה כמחנה מעצר בו נכלאו יריבי הנאציזם. כ-200,000 איש עברו בשעריו עד ששוחרר בידי האמריקנים באפריל 1945.
יוסף עמד בכל תלאות המחנה, והחזיק מעמד בדכאו עד ליום השחרור.
לאחר השחרור נדד יוסף עם זרם הפליטים והגיע לאיטליה. משם, בשנת 1946, העפיל לארץ ישראל.
בפרוץ מלחמת העצמאות התגייס יוסף ל"הגנה". שירת בגדוד 54 של חטיבת "גבעתי" – חטיבה מספר 5 של ה"הגנה", אשר התארגנה בסוף 1947 מאנשי החי"ש (חיל השדה) באזור תל אביב.
בראשית המלחמה הגנו אנשי הגדוד על תל אביב וסביבתה. בהמשך השתתפו בלחימה ובהגנת הדרך לירושלים, ולאחר מכן הורדו לדרום הארץ, כדי לסייע בבלימת הצבא המצרי הפולש.
הפלישה המצרית החלה יום לאחר הכרזת המדינה, ב-15.5.1948. בסוף אותו חודש הגיע חיל החלוץ של צבא הפלישה לעיירה איסדוד (כיום אשדוד), כשלושים קילומטר מדרום לתל אביב, והתעכב ליד גשר הרוס על נחל לכיש.
הגשר (כיום גשר "עד הלום") פוצץ כמה שבועות לפני כן על ידי לוחמי "גבעתי" במטרה לעצור את התקדמות כוח החוד של המצרים לאורך מישור החוף. תנועת המצרים אמנם נעצרה אך לא לזמן רב, ועל כן נעשו עוד מספר ניסיונות לעוצרם. נעשה ניסיון להפציץ את המצרים מהאוויר, אחת ההפצצות האוויריות הראשונות על ידי מטוסים ישראליים. אך ההפצצה, על אף שפגעה בריכוזי הצבא המצרי, לא הצליחה לעוצרו.
מאחר שהכוח המצרי נתפס כאיום חמור על יישובי הדרום ועל תל אביב ושכנותיה, הוחלט לפעול בהתקפה קרקעית גדולה, באמצעות כוח רגלי. למבצע, שכונה "פלשת", רוכזו כוחות רבים מחטיבת "גבעתי" וחטיבת "הנגב" של הפלמ"ח, וכן הוקצה סיוע ארטילרי.
בליל כ"ה באייר תש"ח (3.6.1948) תקפו כוחות "גבעתי" את המערך המצרי ליד הגשר ההרוס. ההסתערות נבלמה באש כבדה של האויב, שהקדים וחיזק את מערך ההגנה שלו, והכוחות הישראליים נאלצו לסגת.
בקרב זה נפל יוסף, היה אחד מלמעלה מעשרים לוחמים ישראליים שנהרגו באותו לילה.
