במהלך שנת 1943 נרצחו אחיו ואחותו של יוסף. הוא עצמו, היחיד ששרד מהמשפחה, נשלח מגטו וילנה למחנות עבודה שונים בלטביה ובגרמניה והתענה קשות. בסוף המלחמה מצאוהו האמריקאים שוכב בערמת גופות קרות כשהוא במצב של אפיסת כוחות. הוא הובא לבית חולים, ולאחר שלושה חודשי טיפול התאושש.
יוסף עבר ללנדסברג, גרמניה, שם שהה שנה אחת במחנה העקורים. הוא נמנה עם מייסדי קיבוץ "בני עקיבא" ועסק בהדרכה בשיעורי תורה ובעברית. מספרת בת דודו: "שאיפה אחת מילאה את לבו: לעלות ארצה. רבות היו האפשרויות, ואף התנאים היו נוחים להישאר ולחיות בגרמניה, ולו לכמה שנים כדי לעשות עושר, אך אהבה עזה למולדת פיעמה בו והוא היה בין הראשונים שעלו ארצה מאותו מחנה."
באביב 1946 המשיך עם קיבוצו לקיבוץ הכשרה של תנועת "תורה ועבודה" בוואלמאדינה שבאיטליה, וגם שם היה פעיל בשטח התרבותי.
במקום זה נודע לו על הירצחם של הוריו ואחיותיו בידי הנאצי יימח שמם.
כמחצית השנה שהה בקפריסין. בתקופה זו היה יוסף פעיל בתנועת "הפועל המזרחי", והמשיך לעסוק בפעולות תרבות ובהוראת עברית. בד בבד, נטל חלק באימוני ה"הגנה", מתוך הכרה עמוקה כי בארץ צפויה תקופת מאבק קשה שיש להתכונן לקראתה.
בחודש אדר תש"ז (פברואר 1947) הגיע יוסף לארץ. שהה תקופת מה במחנה עולים בקריית שמואל, ואז התאחד עם קרוביו בירושלים, אך רק לזמן קצר. אלה רצו כי יישאר עמם, אך רצונו הלוהט לשרת את המולדת במידה הגדולה ביותר הובילו לכפר עציון.
בכפר עציון, ראשון יישובי גוש עציון, נקלט יוסף יפה בחברה ובעבודה, במשק ובבניין, ובשעות הפנאי עסק בתורה. הוא הרבה לכתוב לקרוביו ולתאר את המתרחש בגוש, כשממכתביו נובעת אמונה חזקה ושלמה בצדקת הדרך, וביטחון ותקווה לגבי העתיד.
שלושה חודשים אחר כך, ב-14 ביולי 1947, הוא כותב: "… הימים ימי עבודה הם, העבודה הולכת ונמשכת במלוא הקיטור… תודה לאל, אני בריא, עובד בבניין, במשך השתתפותי בבניין גמרנו חמישה בתים, גם לעתים קרובות אני שומר… ואני שבע רצון".
על פי החלטת החלוקה של האו"ם מיום כ"ט בנובמבר 1947 לא נכלל גוש עציון בתחומי המדינה היהודית. מאז עמד המקום במוקד התקפות בלי פוסקות.
ההתקפה האחרונה והגדולה מכולן על גוש עציון נערכה בימים 13-12 במאי 1948. חיילי הלגיון השתלטו על כמה משלטים הסמוכים לכפר עציון, והצליחו לבתר את הגוש לשניים. למחרת, ד' באייר תש"ח (13.5.1948), פרצו את ביצורי הכפר כשהם חמושים במשוריינים ובארטילריה, ומלווים בכוח מקומי רב מכפרי הסביבה.
יוסף, שבימי ההתקפה האחרונים השתתף בהגנת הקטע המערבי של הכפר, נפגש עם חברתו בפעם האחרונה במקלט שמתחת לבניין המנזר הגרמני – מושב המפקדה ותחנת העזרה הראשונה. האויב, שלא יכול היה לחדור לתוך המקלט, פוצץ את הבניין על יושביו ואלו נקברו חיים תחת ההריסות. יוסף וחברתו רחל הילר היו בין הנופלים.
למעלה ממאה מגיני הכפר נפלו באותו יום, רבים נרצחו לאחר שנכנעו. למחרת, ביום ה' באייר תש"ח (14 במאי 1948), יום הכרזת המדינה, נכנעו מגיני יתר שלושת יישובי גוש עציון: רבדים, משואות יצחק ועין צורים. ביום זה חדל הגוש מלהתקיים, ושרידי מגיניו הלכו בשבי הירדני.
יוסף היה בן עשרים ושמונה בנפלו
