תנאי השרות שונו בשנת 40, בהתאם לצו שפרסמה מועצת השרים ביום 16.4.41. לפי הצו החדש, השרות היה לשנתיים ולא לשלשה חודשים. דרגות הקצינים היהודיים נשללו מהם, והם עברו לשרת כאנשי שרות העבודה. בפנקסי השרות של הקצינים סומנו האותיות - ZS יהודי.
מצוקתם של אנשי שרות העבודה החלה להתלבט בסתיו 1942, בחזית אוקראינה. ההונגרים לחמו שם עם הנאצים, ויהודי שרות העבודה שהיו חסרי בגדים מתאימים לחורף הרוסי סבלו מאוד מן הקור. בנוסף לזה היו בין המפקדים סדיסטים שהתעללו ביהודים, ולאחר עבודתם הקשה אילצו אותם לעשות "התעמלות": לקפוץ להתגלגל, לזחול וכדומה.
בתחילת אפריל 1942 נשלחה הארמייה ההונגרית השניה להלחם בצד הנאצים ברוסים. הארמייה מנתה 250,000 חיילים, ועמה נשלחו 50,000 יהודים מאנשי שרות העבודה. היהודים שגויסו לשרות נבחרו על בסיס "אישי". לאמור: הגיוס לשרות היה דרך לפגוע בקהילות, על ידי גיוס בעלי תפקידים בקהילה, גויסו עשירים, וכמו כן גויסו אנשים ששכניהם ההונגרים ראו בהם מתחרה לעסקיהם, והעדיפו שלא יהיו בסביבתם. משרד ההגנה הוציא צו חשאי כי 10 עד 15 אחוז מן הפלוגות יהיו יהודים מפורסמים הודות לעושרם או מעמדם. בקבוצה זו גויסו גם אנשים שגילם מעל 42, הגיל המרבי בו ניתן לגייס לשרות העבודה.

תפקידם של היהודים היה לסלול כבישים, ניקוי ואחזקה של דרכים ומסילות ברזל, טעינה ופריקה של תחמושת ומשאות, חפירת מכשולים לטנקים, סילוק מוקשים. לעתים קרובות אולצו האנשים לסייע בדחיפת קרונות אספקה, או להירתם לקרונות בעצמם.

חפירת ביצורים בשרות העבודה
תיאור עבודה בדחיפת קרונות אספקה - בזיכרונותיו של הלל דנציג
עבודת לילה במסגרת פלוגות העבודה

המפקדים היו סדיסטים, והתייחסו ליהודים באכזריות שלא ניתן לתארה. זמן קצר לפני הוצאתו להורג באשמת פשעי מלחמה, סיכם גנרל פרנץ סומבטהיי, ראש המטה הכללי לשעבר, את היחס לאנשי שירות העבודה:

האכזריות הפכה להיות אהבת המולדת. מעשי זוועה הפכו להיות מעשי גבורה. שחיתות הייתה לערך. הופיע שני סוגים של משמעת, האחד מהם יושם כלפי היהודים שנגדם כל דבר היה מותר.

לאחר שהצבא הסובייטי פרץ את קווי ההונגרים, בינואר 43, החלה נסיגה ארוכה של הצבא ההונגרי. אנשי פלוגות העבודה סבלו בשעת הנסיגה סבל נורא. הם נותרו לחסדיו של מפקדים זוטרים, או הופקרו לגורלם. לא ניתן להם אוכל, והם לא הורשו לישון במקומות מכוסים. גם אם מצאו מקום לישון, גורשו ממנו, וישנו תחת כיפת השמים. מחלות פקדו אותם, וטיפוס הבטן תקף רבים מהם. ללא מזון ראוי וללא תרופות ובגדים - מתו רבים בצדי הדרך.

הוראות חמורות הגיעו אלינו: כל הפלוגות העוסקות באחזקת הכבישים חייבות להימצא תחת כיפת השמים גם לאחר שסיימו את מכסת עבודתן היומית, ועל אנשיהן לעמוד על המשמר ליד קטעי הדרך המסומנים, כדי שתהיה אפשרות מיידית לחלץ כלי רכב שנתקעו.
בשם טיעון זה היינו "מטיילים" בכפור של 30-35 מעלות לאורך דרכים ובמשך שעות, שנדמו כאין סופיות, בעוד סופת השלגים משתוללת וכלי הרכב עצמם נמנעים מלנסוע בקטע זה של הדרך. בחנו איש את פני רעהו כדי לראות אם הופיע כתם צהבהב- חוורוור על האף או על הלחיים - סימן להתחלה של קפיאה, וכדי שנדע להקדים רפואה למכה, על ידי חיכוך שלג על עור הפנים. שיטה זו למדנו מן הרוסים. (הלל דנציג, בצל סוסים, 68).

זיכרונות נוספים של הלל דנציג משירותו באוקראינה:
לילה בכיכר העיר בכפור של 30 מעלות
בכפר דורושיץ החזיקו אלפיים מאנשי שירות העבודה בהסגר. כדי להתגבר על המגיפה, ריכזו את היהודים באסם, והציתו אותו על יושביו. אלה שקפצו מן האסם נורו בידי השומרים שחיכו להם בחוץ. בדין וחשבון שהוגש לגנרל וילמוש נאג' נאמר כי האש הוצתה שלא במתכוון בידי יהודים שעישנו.

לרצח בכפר דורושיץ היה המשך משפטי: מה גורל הנשים שבעליהם היו באסם, ולא נודע בברור כי מתו. כיצד תוכלנה להתחתן בשנית? דיון בשאלה כאובה זו התנהל בפני הרב יצחק יעקב וייס:

הרב יצחק יעקב וייס נשאל על אחד הנעדרים, וואנש יוזף, שהיה חולה ב"בית החולים" בדורושיץ, והרגיש שלא יעלה בידו לצאת משם. על כן מסר לחברו הרשקוביץ, שיהיה שליח לאשתו וימסור לה תכשיט קטן עשוי כסף ובו תמונת אשתו וילדו שהיו יקרים לו ביותר. הוא הוסיף את תמונתו שלו. באמצע ינואר הועלה המקום באש. הרשקוביץ, וגולדשטיין הצליחו להימלט, אבל וואנש לא היה מסוגל לכך. הרב וייס קיבל את עדותם והעיר: "כיוון שזה קרוב לשלש שנים שאבד זכרו, והוא היה קשור בעבותות אהבה לבני ביתו, כאשר יעיד העד, כי תמונתם הייתה הדבר הכי יקר בעיניו, וגם אשתו סיפרה כי עד זמן השריפה קיבלה ממנו תמיד מכתבים, ומאז והלאה אין קול.... ודאי נשרף". לאור עדות זו התיר הרב לאשתו להינשא שנית. (ע"פ פוקס, השואה במקורות רבניים 61).

הסכם שנחתם בין הגרמנים סיפק 6,000 יהודים לעבודה במכרות נחושת בעיר בור ביגוסלביה. הם עבדו בתנאים איומים: 11 שעות ביום עבדו, קבלו בתמורה שבעה דינרים ו- 227 גרם לחם ליום וצלחת מרק מימי. הם עבדו במים שהגיעו עד ברכיהם, ונשמו אוויר מחניק וטעון חלקיקי אבק וגז נפיץ. בזמנם הפנוי, לרבות בימי ראשון, אולצו לעסוק בעבודות בית: חטבו עצים ועסקו בעבודות אחזקה ותיקונים. על כל עבירה נענשו בעונשים אכזריים.

באמצע ספטמבר החליטו הגרמנים שחששו מכיתור לצאת מן האזור. קבוצה ראשונה של אנשי השירות, שמנתה 3,600 איש, הוצעדה בלווי שומרים הונגריים, בתנאים בלתי אנושיים דרך ארוכה. לבסוף גורשו האנשים לגרמניה, והגיעו למחנות ריכוז שונים. קבוצה אחרת, שמנתה 2,500 איש, הוצעדה דרך ארוכה, ובדרך נרצחו רבים מהם, כאשר רצו לשתות מים, או לאכול פירות שמצאו בדרך. אלה שלא יכלו להמשיך ללכת נרצחו גם הם. שרידי הטור הזה נשלחו למחנות ריכוז בגרמניה, ובודדים מהם שרדו.
לאחר שנכנסו הגרמנים להונגריה, ב- 19 במרס 1944, הפך שרות העבודה למקום מפלט ליהודים. הונגריה הייתה זקוקה לכוח אדם, ועל כן 150,000 יהודים שוחררו מן הפינוי לאושוויץ, וגויסו לעבודה. היו מקומות בהם הוציאו מספר רב של צווי קריאה של חירום, וחלקם אף חולקו בגטו, ובכך חילצו את היהודים מן הגירוש. הדבר עורר את זעמם של אייכמן ואנשיו, וכן של לאסלו פרנצי, שהיה אחראי על הגירוש מטעם ההונגרים. משרד ההגנה הוציא הוראה סודית לפיה יש להתייחס לאנשי שירות העבודה כמו לשבויי מלחמה. הוראה זו הייתה לכאורה הוראת עונשים, אבל כנראה שמטרתה הייתה לשמור על היהודים מגירוש לאושוויץ.

סדר פסח בעיר קומרום בשנת 1944
לאחר מהפיכת אנשי צלב החץ, ב- 15.10.44, הורע מצבם של היהודים. תוך שבוע מיום תפיסת השלטון הורה שר ההגנה לגייס את כל הגברים מגיל 16 עד 60, ואת הנשים מגיל 14 עד 60. אלפי נשים יהודיות הוצעדו במצעד מוות לכוון וינה. שר ההגנה אישר העברת אנשי פלוגות העבודה לגרמנים, כביכול לבניית ביצורים לאורך הגבול של הרייך עם הונגריה, להגנה על וינה. 50,000 יהודים הועלו על קרונות רכבת, ושולחו לגרמניה.

אנשי פלוגות העבודה שהיו בהונגריה סבלו גם הם סבל רב. מאות מהם נרצחו על לא סיבה. אלה שנותרו בחיים הוצעדו ברגל לעבר הרייך. רובם מתו במחנות הריכוז מאוטהאוזן וגונזקירכן.