עם סיום מלחמת העולם הראשונה, החלו הדיונים בדבר עתיד ארץ-ישראל והאזור כולו וב-19 באפריל 1920 התכנסו בסן רמו שבאיטליה "מדינות ההסכמה" (בריטניה, צרפת, איטליה ויוון וכן יפן ובלגיה) לדיון בחוזה השלום עם תורכיה. באותה ועידה הוחלט למסור לבריטניה במנדט את השלטון על ארץ-ישראל משני עברי הירדן ולהטיל עליה את האחריות לביצועה של הצהרת בלפור, שעיקרה, הקמת בית לאומי ליהודים בארץ-ישראל. בעוד הדיונים נמשכים, החליטו הערבים לנקוט פעולות אלימות, כדי לחבל בהגשמתה של הצהרת בלפור. ההזדמנות לפרעות ניתנה לערבים בעת חגיגות נבי-מוסא. בחגיגות אלה, שמקורן בתקופה שבה ניצח צלאח א-דין את הצלבנים, היו מגיעות משלחות של מוסלמים מכל חלקי הארץ לירושלים ומשם הייתה יוצאת תהלוכה למסגד סמוך ליריחו - מסגד שעל-פי המסורת המוסלמית ניצב על קבר משה.
באפריל 1920 נתקבצו ובאו לירושלים אלפי מוסלמים ומשם יצאו בתהלוכה לעבר יריחו. בתום החגיגות, שנמשכו שבעה ימים, חזרו החוגגים לירושלים לשם תפילה לציון סיום העלייה לרגל. לאחר התפילה, ובעקבות נאומי ההסתה הרבים שנשמעו במהלך החגיגות, הפכה התהלוכה להתפרצות נגד היהודים. אדישות השלטונות לנעשה עודדה את הערבים, שקראו בקולי-קולות: "אִדבח אל-יהוד, א-דאוּלה מענא" (טבחו ביהודים, הממשלה אתנו).
התקפת הערבים לא באה במפתיע, והיהודים נערכו לה בעוד מועד. בירושלים כיהן אותה עת "ועד הצירים", שנתמנה על ידי ההסתדרות הציונית כדי לנהל את ענייני היהודים בארץ-ישראל (מאוחר יותר הוחלף "ועד הצירים" ב"ועד הלאומי", שייצג את יהודי ארץ-ישראל). "ועד הצירים" הטיל על זאב ז'בוטינסקי, שזה לא מכבר שוחרר מן הצבא הבריטי, לארגן את היהודים להגנה עצמית (ז'בוטינסקי היה ממקימי הגדודים העבריים שלחמו במסגרת הצבא הבריטי במלחמת-העולם הראשונה והשתתפו בכיבוש הארץ מידי התורכים). בחסות "ועד הצירים" הקים ז'בוטינסקי בירושלים את ארגון ההגנה וערך אימונים מזורזים למתנדבים החדשים; בעוד תרגילי הסדר נערכו בגלוי, התקיימו האימונים בנשק חם במקומות מסתור. ז'בוטינסקי גרס כי כוח המגן צריך להיות לגאלי ועל-כן הודיע לרונאלד סטורס, המושל הצבאי הבריטי, על קיום היחידות להגנה עצמית ואף דרש ממנו נשק בשביל המגינים, אולם נענה בסירוב.
כוחות ההגנה (כשברשותם 50 רובים, כמה אקדחים ורימונים) התפרסו בעיקר בעיר החדשה, בעוד הפרעות כוונו נגד יהודי העיר העתיקה. ב-4 באפריל 1920, חול המועד פסח תר"פ, התנפלו מאות ערבים חמושים באלות, פגיונות וחרבות, על הרובע היהודי בעיר העתיקה. הם בזזו חנויות ופגעו בכל יהודי שנקרה בדרכם. אותו זמן היה בעיר העתיקה שוטר יהודי בודד - הקצין יהושע אייזנברג (יתר 116 השוטרים ששירתו בירושלים, פוזרו יום קודם לכן בתחנות המשטרה שמחוץ לחומות). כאשר נודע הדבר לז'בוטינסקי, שלח יחידה של ההגנה אל העיר העתיקה, אולם בינתיים הגיע הצבא למקום, סגר את השערים ומנע את כניסת יחידת ההגנה. לעת ערב השתרר שקט בעיר והצבא עזב את עמדותיו וחזר למחנה.
בפרעות תר"פ נהרגו בירושלים 6 יהודים וכמאתיים נפצעו. אין ספק, כי לולא ההתארגנות המוקדמת, היה מספר הקרבנות גדול הרבה יותר.
שלושה ימים לאחר הפרעות ערכו הבריטים מעצרים נרחבים בקרב הערבים וגם על היהודים לא פסחו. בחיפוש שנערך באחת מעמדות ההגנה בעיר העתיקה, נמצאו 3 רובים, 2 אקדחים ו-250 כדורים. 19 גברים שנמצאו במקום נאסרו. ז'בוטינסקי שמע על המאסרים רק למחרת היום. מיד יצא ל"קישלה" (בית-המעצר שבמשטרת העיר העתיקה) יחד עם עורך-הדין ד"ר מרדכי עליאש, כדי למחות על המאסר. הוא טען בפני הקצין האחראי כי ההגנה אינה ארגון בלתי חוקי וכי הממשל ידע על קיומו ועל-כן דרש לשחרר מיד את האסירים. אולם אם השלטונות סבורים שהם אשמים, הרי הוא, כמנהיגם, אשם גם כן ויש לאסור גם אותו. הקצין הכיר בהיגיון שבדברי ז'בוטינסקי ואסר אותו ללא שהיות.
המאסר עורר זעם רב בקרב היישוב היהודי בארץ-ישראל, שהתקומם נגד עמדת הממשלה שאינה מבחינה בין תוקף לנתקף.
ב-12 באפריל נערך משפטם של עשרים חברי ההגנה. אותו יום נערכו הבחירות לאסיפת הנבחרים של היישוב, ולאות הזדהות עם הנאשמים, הציבה מפלגת "אחדות העבודה" (לימים מפא"י) את ז'בוטינסקי כמועמד ראשון ברשימתה.
ז'בוטינסקי וחבריו הואשמו ב"החזקת נשק בלתי חוקי וארגון קנוניה להביא לידי מעשי אלימות ורצח". ז'בוטינסקי כפר באשמה וטען כי השלטונות ידעו על קיומו של ארגון ההגנה, והוא יחד עם רוטנברג, אף ביקשו מהשלטונות לצייד את הארגון בנשק.
המשפט היה קצר ובסיומו נידון ז'בוטינסקי ל-15 שנות מאסר עם עבודת פרך וגירוש מן הארץ לאחר ריצוי העונש, בעוד חבריו נידונו כל אחד ל-3 שנות מאסר עם עבודת פרך. כדי לשמור על איזון, הועמדו שני ערבים למשפט באשמת אונס ונשפטו ל-15 שנות מאסר. גם שני מנהיגים ערביים, חאג' אמין אל-חוסייני ועראף אל עראף, שנאשמו בהסתה, נשפטו שלא בפניהם ונידונו ל-10 שנות מאסר כל אחד (השניים ברחו לירדן ומשם לסוריה השכנה).
עם היוודע פסק-הדין, ערך "ועד הצירים" פעולות מחאה רבות, שכללו הפגנות המוניות וצום כללי. אלא, שכאמור, החליטה בינתיים ועידת סן רמו למסור את השלטון על ארץ-ישראל לבריטניה כמעצמה מנדטורית. השמחה שפשטה ביישוב היהודי האפילה על הרצון למחות נגד פסק-הדין הקשה שהוטל על ז'בוטינסקי וחבריו.
ביולי 1920, עם בואו של הנציב העליון הראשון הלורד הרברט סמואל לירושלים, פסק השלטון הצבאי בארץ (שהוקם לאחר השלמת כיבוש הארץ מידי התורכים בספטמבר 1918) . כמחווה כלפי האוכלוסייה האזרחית, הכריז הנציב העליון על חנינה כללית לכל מי שהיה מעורב בפרעות של חול המועד פסח תר"פ - יהודים וערבים כאחד. ז'בוטינסקי וחבריו שוחררו מתא המאסר ונתקבלו בהתלהבות רבה על-ידי היישוב היהודי בארץ, אולם ז'בוטינסקי לא הסתפק בחנינה ודרש בתוקף את ביטול פסק-הדין נגדו ונגד חבריו בטענה שאין דין מגן כדין תוקף. לאחר מאבק שנמשך חודשים רבים, הורה לבסוף מיניסטריון המלחמה הבריטי על ביטול פסקי-הדין שניתנו נגד ז'בוטינסקי וחבריו.
לא חלפה שנה מפסח תר"פ, ושוב פרעו הערבים ביהודים. הפעם החלו המהומות בגבול יפו-תל-אביב (מאי 1921), והתפשטו לירושלים ב-2 בנובמבר, הוא יום השנה להצהרת בלפור. באותה שנה נהרגו ברחבי הארץ 43 יהודים ונפצעו 134.
התקפות הערבים בשנת 1920 הגבירו את תודעת ההגנה העצמית בקרב היישוב היהודי בארץ. לאחר הקמת ארגון ההגנה בירושלים בידי ז'בוטינסקי, החליט "ועד הצירים" על הקמת ארגון הגנה ארצי שתפקידו יהיה להגן על היישוב היהודי מפני פורעים, אלא שההחלטה לא יצאה אל הפועל עקב מאסרם של ז'בוטינסקי וחבריו. אותה עת עסקו גופים רבים בענייני הגנה, ובוועידת הייסוד של "הסתדרות העובדים העברים הכללית" ("ההסתדרות") בדצמבר 1920 הוחלט, בין השאר, להקים ארגון הגנה ארצי. מנהיגי המפלגות הציוניות הסוציאליסטיות ראו בארגון ההגנה מיליציה שתפקידה להגן על נפשם ורכושם של היהודים בארץ-ישראל, והתנגדו להנהגת סדר ומשמעת צבאיים בתוכו. בהחלטות הייסוד נאמר כי על גוף זה "...לדאוג לענייני ההגנה, לארגון השתתפותם של העובדים במפעל ההגנה ולהבטחת תוכנה הלאומי והסוציאלי של הגנה עממית בארץ ..." (מתוך כנס היסוד של ההגנה). בחוקת ההגנה משנת 1925 נאמר, בין היתר, שהמטרה היא "הגנה על היישוב והתכוננות למליציה עממית...".¹ בכך באו לידי ביטוי השקפות אנטי-מיליטריסטיות שרווחו לאחר מלחמת-העולם הראשונה והחששות מפני התפתחותה של הצבאיות לפאשיזם, שהחל משגשג באותם ימים באירופה. יתרה מזאת, מנהיגי הפועלים הניחו שארגון צבאי מסודר עלול לצבור כוח רב ולאיים על האותוריטה שלהם, ולא ששו לאפשרות הזאת. זה היה הבסיס לכפיפותו של ארגון ההגנה למרותה של הסתדרות העובדים באחת עשרה שנותיו הראשונות.

לאחר פרעות 1921, באו על הארץ שבע שנים שקטות. הייתה זו תקופה של בנייה והתפתחות, בה הוכפל היישוב היהודי בארץ-ישראל (ב-23.10.1922 היו בארץ 87,790 יהודים וב-30.6.1927 גדל מספרם ל-150,000). שנים אלה נוצלו על-ידי ההגנה להתארגנות, לאימונים ולרכישת נשק. השקט בארץ גרם לשאננות רבה, וחלק מן המנהיגים החלו לפקפק בצורך בארגון הגנה ארצי, שתבע תקציבים לא מעטים. אותם מנהיגים הִשלו את עצמם כי ניתן לסמוך על ממשלת המנדט הבריטית שתגן על היישוב היהודי בשעת הצורך. אולם האירועים של שנת 1929 טפחו על פניהם. לאחר שבוע של הסתה פתחו הערבים ביום שישי, 23 באוגוסט 1929, בפרעות מאורגנות בירושלים. המוני הערבים שבאו להתפלל בהר-הבית התפרצו לכיוון ירושלים היהודית, פגעו בסכינים ובאלות בכל יהודי שנקרה בדרכם והרסו את בתי-המסחר. הכפרים הסמוכים לירושלים לקחו חלק פעיל בפרעות, ותפקיד מרכזי מילא הכפר דיר-יאסין שחלש על השכונות המערביות של העיר והיה סמוך לשכונת גבעת-שאול. גם השכונות בדרום העיר הותקפו בידי ערביי הסביבה - קיבוץ רמת-רחל נהרס כליל לאחר שתושביו נטשוהו וכן נהרס חלק משכונת תלפיות, ובין היתר נהרס גם ביתו של הסופר ש"י עגנון. השתוללות האספסוף המוסת נמשכה בירושלים מספר ימים והותירה אחריה 23 יהודים הרוגים ועשרות פצועים.
אולם הנורא מכול קרה בחברון. היהודים ישבו בחברון מאות בשנים וחיו בשלום עם שכניהם הערבים. אלא שכל זה לא מנע מן הערבים מלהסתער בשבת בבוקר, ה-24 באוגוסט 1929 על בתי היהודים ולהרוג את יושביהם. הרצח היה אכזרי וההתעללות בנשים הייתה נוראה.
מתוך יישוב שמנה 600 יהודים, נרצחו אותו בוקר בדם קר 67 גברים, נשים וטף (שמנו 11% מכלל היישוב היהודי בעיר! ) ועשרות רבות נפצעו.
הפרעות התפשטו בכל הארץ וגם לצפון הגיעו. יישובים רבים הותקפו, והשיא היה בצפת.
קרוב ל-3,000 יהודים גרו בצפת וחיו ביחסים טובים עם שכניהם הערבים (כ-10,000 במספר). ואכן, בעוד הפרעות משתוללות ברחבי הארץ, שרר שקט בצפת. אולם כעבור חמישה ימים, כאשר נדמה היה כי המשטרה והצבא שולטים במצב, חלה התפרצות דמים בצפת. ביום חמישי אחר-הצהריים, ה-29 באוגוסט 1929, פרצו פורעים ערבים אל הרובע היהודי, דקרו והרגו יהודים ללא רחם. הפורעים הציתו מחסן דלק והשרפה פשטה עד מהרה בכל חלקי הרובע היהודי. תוך מחצית השעה נמנו 18 הרוגים, רובם נשים וזקנים, ו-80 נפצעו וקיבלו טיפול בבית-החולים "הדסה". ארגון ההגנה גילה אוזלת יד מוחלטת ורק התערבות המשטרה מנעה אסון גדול יותר.
בערב הגיעו 10 מכוניות צבא, ולפי פקודת המושל אספו החיילים את יהודי העיר לחצר הממשלה. יומיים שהו היהודים בחצר הממשלה וראו כיצד בתיהם עולים באש. בלילה השני תקפו הערבים גם את חצר הממשלה ומן היריות נהרגו 2 יהודים, אחד מהם ילד שנפצע ומת אחר-כך מפצעיו. בשבת בבוקר חזרו היהודים לרובע השדוד וההרוס ורק ביום ראשון הגיעה עזרה חומרית מטבריה ומחיפה. "אין ספק שכוח הגנה קטן ומאורגן יכול היה למנוע את האסון. אולם הכוח הזה לא היה בנמצא". ³
הפרעות לא פסחו גם על חיפה. הייתה זו הפעם הראשונה שהעיר חיפה חוותה את החוויה הקשה של הפרעות. ארגון ההגנה בחיפה היה מהסניפים המאורגנים בארץ, וזאת הודות למפקדו יעקב פת, ששימש בתפקיד זה משנת 1922.
מעניין לציין את השאננות שאפפה את חיפה, למרות הידיעות שהגיעו מירושלים. בתזכיר שחובר על-ידי ועד העזרה של מחוז חיפה, בו סוכמו פעולותיה של הקהילה בימי הפרעות, אנו מוצאים, בין היתר: ⁴

כבר ביום שישי אחר הצוהריים, 23.8.1929, נודע לתושבי חיפה על התנפלות הערבים על יהודי ירושלים... לפי הידיעות שנתקבלו מירושלים שעות אחדות אחר-כך, אפשר היה כבר להסיק כי לפנינו התנפלות מאורגנת ומוכנה מראש. אף על פי כן תקוות הכול הייתה כי הממשלה תדע לכלכל את מעשיה בשביל להדוף אותה לאחור כבר בראשית צעדיה. מכל מקום, לא עלה על הדעת כי ייתכן שההתנפלות תתרחב ותתפשט ותצא את גבולות ירושלים; לא כל שכן לא פיללו ולא הניחו כל אפשרות של התנפלות על חיפה, אשר גם גלי פרעות של מאי 1921 לא הציפוה... וכולם המשיכו לשבת במקומותיהם (מלבד מקרים בודדים) בתקווה ואמונה כי שום דבר יוצא מן הכלל לא יארע כאן. ברם המציאות המרה הכזיבה ומוטטה במהרה את התקווה והאמונה גם יחד.

במהלך הפרעות נהרגו בחיפה וסביבתה 10 יהודים ועשרות נפצעו. ⁵
פרעות תרפ"ט גרמו לזעזוע עמוק ביישוב היהודי בארץ; לא הייתה נקודת יישוב אחת שלא חששה מהתקפת פורעים ערבים. הצנזורה שהטילה הממשלה על העיתונות וניתוק קשרי הטלפון, הגבירו את חוסר הביטחון וגרמו להפצת שמועות שהגדילו את החרדה והפחד.
פרעות תרפ"ט השפיעו על התפתחות ההתיישבות היהודית בארץ-ישראל מחד גיסא ושימשו מפנה בתולדות ארגון ההגנה מאידך גיסא. בעקבות שבע שנות השקט שעברו על הארץ (1922-1929) נתפסה, כאמור, הנהגת היישוב לאשליה שבעיות הביטחון נפתרו וחזרה האמונה ביכולת השלטון הבריטי לשמור על חוק וסדר בארץ-ישראל. בספר "תולדות ההגנה" אנו מוצאים את הדברים הבאים: ⁶

היחידי בין מנהיגי-התנועה המרכזיים, שלא פסק מלהתריע בעצם שנות השלווה של פלומר [הנציב העליון שהחליף את הלורד סמואל] על הסכנה האורבת ליישוב הבלתי-מזוין והוקיע בלי רחמים את שאננות מנהיגי התנועה, היה זאב ז'בוטינסקי. עוד באב תרפ"ח (אוגוסט 1928) קרא מעל במת הקונגרס הי"ד: "השלום איננו עדיין בארץ-ישראל, ולכן עומדים אנו מלאי חרדה בפני שאלת הביטחון... מצטער אני כי אנשים רציניים, החייבים לראות בכל יהודי בארץ אח, אחות, בת או בן, קמים ומשתמשים בנימוק שאיננו נימוק כלל. הם אומרים: 'הרי היו לנו בארץ-ישראל שלוש שנות שקט'. חיים אנו בארץ שבה מתנהלת פעילות חתירה והסתה מכל הצדדים...

על אזהרתו חזר כעבור שנה באסיפת הוועד-הלאומי ובפני אלפים שבאו לשמוע את נאומו בתל-אביב:

"אתם אינכם רואים נחיצות בהגנה עברית, בגדוד עברי, יען כי שקט בארץ? אם שבע שנים לא פרצה דליקה בכפר, האם צריך לבטל את מוסד מכבי-האש שבכפר? שבע שנים לא הייתה שריפה, ובשנה השמינית בכל-זאת עלולה היא לפרוץ".

מסתבר שבמשך חודשים מספר היה אי-שקט בירושלים, ובכל זאת באו הפרעות בהפתעה. איש לא התייחס ברצינות "לכתובת שהייתה על הקיר", ולמרות ההתנכלויות ליהודים בעיר העתיקה לא מנעו עצמם מנהיגי היישוב וראשי ארגון ההגנה לעזוב את הארץ, כדי להשתתף בישיבות הקונגרס הציוני הט"ז, שהתקיים בציריך בין ה-29 ביולי ועד ה-10 באוגוסט 1929. גם לאחר סיום הדיונים, לא מיהרו מנהיגי היישוב לחזור הביתה והאריכו את שהותם באירופה, מי לעבודה ומי למנוחה (ההחלמה במקום נופש לאחר ישיבות הקונגרס הציוני הייתה מקובלת על המנהיגים הציוניים, סוציאליסטים כלא-סוציאליסטים.) ⁷ יצחק בן-צבי היה המנהיג היחידי שחזר ארצה ב-22 באוגוסט, יום לפני הפרעות.
פרעות תרפ"ט שינו את מפת ההתיישבות היהודית בארץ-ישראל. היהודים גורשו מחברון, שכם, עזה ובית-שאן ולא שבו לגור במקומות אלה. מספר מקומות יישוב נחרבו עד היסוד: קיבוץ רמת-רחל בדרום ירושלים ומוצא במערב העיר, באר-טוביה בדרום הארץ, קיבוץ חולדה, קיבוץ משמר-העמק, והיישוב היהודי בעין-זיתים בגליל.
במשך שבוע של פרעות נהרגו ברחבי הארץ 133 יהודים ונפצעו כ-230 (מתוך יישוב שמנה 172,500 יהודים), לעומת 116 ערבים הרוגים ו-232 פצועים, רובם ככולם מירי של הצבא הבריטי שהגיע ממצרים וממלטה כדי לדכא את המהומות.
ארגון ההגנה לא היה בנוי לפרעות בהיקף כה גדול; לא היה נשק במידה מספקת, החברים לא קיבלו אימונים מתאימים והארגון היה לקוי. ההגנה גם חסרה מחלקת מודיעין שמתפקידה להתריע על שעלול להתרחש. היו שטענו כי הסיבה לשאננות נבעה משבע השנים השקטות, אולם הסיבה האמיתית הייתה עמוקה יותר.
כאמור, נוסדה ההגנה כארגון ארצי בשנת 1920 בוועידת היסוד של "הסתדרות העובדים העברים בארץ-ישראל". ארגון ההגנה היה נתון למרות ההסתדרות וכפוף למוסדותיה, אשר ראשיה היו אנטי מיליטריסטים, והצבאיות סימלה בעיניהם את הארגונים הפשיסטים שצמחו באירופה באותה עת. לעומת הגישה האנטי מיליטריסטית הזו, היו מפקדים רבים בהגנה שביקשו לתת לארגון צביון צבאי. הם טענו כי בלי סדר ומשמעת ובלי אימונים צבאיים מסודרים לא תוכל ההגנה למלא את תפקידה. רק בשנות הארבעים עבר ארגון ההגנה למתכונת צבאית ובמלחמת העצמאות היווה את הבסיסי לייסודו של צה"ל.
בנוסף לזאת הלך וגבר הלחץ להכפיף את ארגון ההגנה למוסדות הלאומיים (הוועד הלאומי והסוכנות היהודית) ולא להסתדרות שהייתה בעלת אופי מעמדי-מפלגתי.

אחת התוצאות של פרעות תרפ"ט הייתה הפילוג שחל בארגון ההגנה בשנת 1931, שהביא להקמתו של הארגון הצבאי הלאומי בארץ-ישראל. הפילוג היה קשור באברהם תהומי, ששימש מפקד מחוז ירושלים בהגנה, וביחסיו עם חבריו בצמרת הארגון.

אברהם תהומי (זילברג) נולד ב-1903 באודסה שבקיסרות הרוסית. השתתף ב"הגנה העצמית" בדרום רוסיה, ובשנת 1923 עלה ארצה באופן "בלתי לגאלי". תהומי וחבריו, שנודעו בארץ בשם "החבורה האודסאית", הצטרפו לקבוצת פועלים שעסקה בסלילת כבישים, חקלאות ובניין ומבחינה פוליטית נמנו עם מפלגת "הפועל הצעיר" והיו חברים בהסתדרות העובדים הכללית. ⁸ הם הצטרפו לארגון ההגנה ונמנו עם האקטיביסטים שהטיפו למיליטריזם, לעומת הרוח הפציפיסטית ששררה בהנהגת הארגון. אליהו בן-חורין, שהשתייך לחבורה האודסאית, פרש ממפלגת "הפועל הצעיר", הצטרף למפלגה הרביזיוניסטית ונעשה אחד מפעיליה, אולם הידידות בינו לבין תהומי לא פסקה בשל כך. תהומי לא הצטרף למפלגה הרביזיוניסטית, אולם היה קרוב להשקפותיו האקטיביסטיות של ז'בוטינסקי.
שניים מן החבורה, אברהם תהומי ואברהם גיורא (קריצ'בסקי) עברו לירושלים, ועד מהרה הפכו לרוח החיה בארגון ההגנה בעיר. השניים נשלחו לקורס מדריכים ארצי, קורס "איטליה" ⁹, שהתקיים על הר-הכרמל באוגוסט 1925 ונמשך 10 שבועות (היה זה קורס המפקדים הארצי היחידי שקיימה ההגנה בשנות העשרים). בין חניכי הקורס בלטה הקבוצה הירושלמית ובראשה אברהם תהומי ואברהם גיורא. "הם הצטיינו באימונים, בצחצוח החיצוני ובליכוד הפנימי ביניהם". ¹⁰ לאחר שובו של תהומי מן הקורס, נתמנה מדריך ראשי בירושלים ופתח בשורה של קורסים ל"סגנים" (מדריכים שנתמנו לאחר מכן מפקדי כיתות). אותה עת היה זכריה אוריאלי (זכר) מפקד מחוז ירושלים, ובהנהגה הפוליטית היו יצחק בן-צבי (שהיה יושב ראש הוועד הלאומי) ורחל ינאית. בפגישות של המפקדים הבכירים עם ההנהגה, הביע תהומי את דעתו שיש לרכוש נשק ולהפוך את ההגנה לארגון צבאי.
לאחר קורס "איטליה" החליט זכר להקים יחידה נבחרת לתפקידים מיוחדים, "קבוצת המרכז", ומינה את תהומי לעמוד בראשה. היחידה, שהייתה מורכבת מאנשים נועזים, ביצעה פעולות מיוחדות שהשתיקה הייתה יפה להם, בעיקר נגד הערבים. בסתיו 1927 רבתה המתיחות בקרב הערבים, ובני הנוער (ה"שבאב") היו נוהגים להתנכל לצעירות יהודיות בעיר העתיקה והיו אף מקרי אונס. אנשי היחידה הציבו מארבים וביצעו פעולות תגמול, תחילה בנשק קר ומאוחר יותר גם בנשק חם, ובין הערבים היו פצועים ואף הרוגים.
זכריה אוריאלי ותהומי (ששימש ממלא מקום מפקד הסניף הירושלמי) נעדרו מירושלים במהלך פרעות תרפ"ט, וזאת משום שנסעו לחו"ל לטיפול רפואי לאחר שנפצעו בשנת 1928 בתאונת דרכים. מיד לאחר הפרעות חזר תהומי ארצה, בעוד זכריה אוריאלי נשאר בחו"ל להמשך הטיפול.
עם שובו של תהומי לירושלים, צורף למפקדת העיר (בה לקחו חלק רחל ינאית, יעקב דוסטרובסקי-דורי, יוסף רוכל-אבידר ואברהם קריצ'בסקי) ומונה מפקד מחוז ירושלים.
תהומי ארגן קורסים למפקדים כדי לקלוט את החברים החדשים שהצטרפו להגנה לאחר הפרעות. כן החל ברכישת נשק וארגון שירות ידיעות על הנעשה בין התושבים הערבים. בנוסף לכך ארגן את "השירות הפנימי", שתפקידו היה למנוע חדירה של קומוניסטים ואנשי הבולשת לתוך השורות ולשמור על הקונספירציה הפנימית (מעין "ביטחון שדה"). על תהומי אנו מוצאים בספר תולדות ההגנה: ¹¹

השפעתו של תהומי על סגל המפקדים בעיר הייתה רבה ביותר. בשיחותיו עימם דיבר על הצורך להפוך את ההגנה לארגון בעל אופי צבאי יותר. "במקום המשמעת הנובעת מהבנה, מסירות וחברות יש צורך במשמעת המבוססת גם על דרגות וחוקים צבאיים" אמר... בבואו להגשים את השקפותיו אלה בסניף נתקל תהומי בהתנגדותן של כמה קבוצות, בייחוד במשקי-העובדים (עטרות ורמת-רחל) שטענו כי הצבאיות מיותרת.

באביב 1931 נטל תהומי חופשה ממפקדת ההגנה, כדי לנסוע לארצות-הברית לרגלי עסקיו הפרטיים ולבקר את משפחתו שהיגרה לשם. בהגיעו לפיראוס (יוון), שהייתה תחנתו הראשונה, ביטל הקונסול האמריקאי את האשרה שהייתה בידיו (משלחת רפואית שעלתה על סיפון האנייה, הבחינה בידו שהייתה פצועה, ופסלה אותו מסיבות בריאות).
תהומי חזר לירושלים וביקש לחזור לתפקידו כמפקד המחוז, אולם הוא נתקל בסירוב בטענה שבשעת היעדרו נתמנה מפקד חדש (אברהם איכר). יש לציין כי תהומי נחשד בקשרים עם המפלגה הרוויזיוניסטית ובכוונות להשתלט על ההגנה, ונסיעתו נוצלה כדי להחליפו באחר. הסירוב להחזיר את תהומי לתפקידו גרם לתסיסה גדולה בקרב מפקדי המחוז. רוב המפקדים שמרו לו אמונים, וכאשר עמדה הנהגת ההגנה בסירובה למנות את תהומי מחדש כמפקד מחוז ירושלים, פרשו יחד אתו והקימו באפריל 1931 ארגון מחתרת חדש.
הארגון החדש אימץ לעצמו את השם "ארגון צבאי לאומי", אולם מטעמי חשאיות לא הרבו חבריו להשתמש בשם זה. השם הנפוץ יותר היה " ארגון ב' " או "ההגנה הלאומית". הארגון החדש היה נתון במצוקה כלכלית קשה ולא היה די כסף אף לפעולות שוטפות. נוסף לזאת, הטילו מוסדות ההסתדרות הכללית חרם על חברי הארגון, שעבדו בבניין ובכביש, ולא איפשרו להם לקבל עבודה (באותם ימים הייתה לשכת העבודה חלק בלתי נפרד מן ההסתדרות הכללית).
כחודש לאחר הפילוג החליטו ראשי ההגנה לקבל עליהם את מרות המוסדות הלאומיים (הוועד הלאומי וההסתדרות הציונית). הוקמה לראשונה מפקדה עליונה משותפת, כאשר מחצית מחבריה באה מהסתדרות העובדים הכללית, והמחצית השנייה באה מן החוגים האזרחיים; על כן נקראה "מפקדה פריטטית" (שוויונית). למרות המפקדה השוויונית, רוב רובם של המפקדים הבכירים בהגנה היו חברי ההסתדרות הכללית והשתייכו למפלגות הפועלים. שיתוף החוגים האזרחיים בהנהגת ההגנה לא החזיר את תהומי לשורות ההגנה, והפילוג היה לעובדה.
הארגון החדש התרכז בירושלים, ובמסגרתו התארגנה קבוצה של סטודנטים שלמדו באוניברסיטה העברית ושנודעה בכינוי "הסוחבה" (הרעות). חברי קבוצה זו היו בין בוגרי הקורסים הראשונים של הארגון, וחבריה מילאו תפקידי מפתח בהתפתחות האצ"ל. בין חברי קבוצה זו בלטו במיוחד דוד רזיאל, אברהם שטרן, הלל קוק וחיים שלום הלוי. במשך הזמן הצטרפו לארגון צעירים חדשים, בעיקר משורות תנועת הנוער בית"ר וכן חברי "מכבי", שהייתה תנועת ספורט בלתי מפלגתית.
תהומי נסע לפראג (צ'כיה) כדי לנסות לארגן תמיכה ציבורית רחבה בארגונו. הוא מצא אוזן קשבת בקרב מנהיגים ציוניים שלא השתייכו לאגף השמאלי, ובסופם של דיונים ארוכים, הוקם ועד פוליטי עליון ("ועד מפקח") לארגון, שהיה מורכב מנציגי מפלגת ה"ציונים הכלליים", מפלגת הדתיים "המזרחי" וכמובן מן המפלגה הרוויזיוניסטית בראשותו של ז'בוטינסקי. ה"וועד המפקח" לא זו בלבד שנתן גיבוי פוליטי-ציבורי, אלא אף שיפר במידה רבה את מצבו הכספי של הארגון. הצטרפותו האישית של ז'בוטינסקי הגבירה את הצטרפותם של חברי בית"ר ל"הגנה הלאומית" ובכך הרחיבה את שורות הארגון. על התפתחות זו אנו מוצאים בספר תולדות ההגנה¹²

קשה לנו להבין היום מדוע תמכו אישים אלה רשמית בארגון פורש, לאחר שהיה קיים ארגון "הגנה" כללי, בו הנהלה פריטטית, ולאחר שגם הם הבינו ללא ספק את הצורך באחדות הגנת היישוב. יש לשער, כי כאן השפיעו גורמים מפלגתיים צרים. קודם-כול ניכרה בהגנה השפעתם המכרעת של אנשי ההסתדרות הכללית, הן משום שמסורת ההגנה בעשר שנות קיומה הראשונות, כשהייתה למעשה מחלקה בהסתדרות, הטביעה עליה חותם מיוחד של קשר להסתדרות, שאי אפשר היה למוחקו, והן משום שפעילי ה"שמאל" בהגנה ... השפעתם ומשקלם הציבורי היו גדולים תמיד מאלה של באי-כוח ה"ימין" במפקדה.

כאמור, רוב אנשי ההגנה בסניף הירושלמי הלכו עם תהומי. רובם ככולם היו חברי ההסתדרות וחלקם אף חברי מפא"י (מפלגת פועלי ארץ-ישראל) נאמנים, אולם הם הזדהו עם העקרונות שהציב תהומי ולכן תמכו בו.
לאחר התבססות הארגון החדש בירושלים, הוחל במגעים להקים סניף גם בתל-אביב. כאמור, הסכימו ראשי המפלגות הציוניות-סוציאליסטיות לוותר על הכפפת ההגנה למרות ההסתדרות, כי לדעתם: "משטר הפריטט החזיק בתחומי ההגנה חוגים אזרחיים רבים שבלעדיו היו פורשים מן הארגון ומצטרפים ל'ארגונים הפורשים'." ¹³
אף שמרכז ההגנה היה נתון להלכה למרות המוסדות הלאומיים, השליטה המעשית בארגון ההגנה נשארה, כבעבר, בידי ראשי ההסתדרות.
יש להדגיש כי התפתחות זו בהגנה באה לאחר פרישתו של תהומי וחבריו והייתה אחת התוצאות של פרישה זו. את הפרשה מסכם ספר תולדות ההגנה: "עם הקמת המפקדה הארצית הפריטטית חלפו ימי הזעזועים הקשים וארגון ה"הגנה", שנפגע קשות בשנים האלה, החל לחזור לאֵיתָנו". ¹⁴

תהומי נפגש עם רוזנברג, שעמד בראש התאים החשאיים של מדריכי בית"ר בתל-אביב, שהתאמנו בנשק והשתתפו בהגנת העיר בפרעות תרפ"ט (השניים הכירו עוד מהפעילות המשותפת בהגנה בירושלים). לאחר סדרה של פגישות הוחלט לאחד את שני הגופים: הירושלמי והתל-אביבי. הוקמה מפקדה משותפת: ארשבסקי וברוורמן (מתל-אביב), נדב ותהומי (מירושלים). לאחר מכן צורף למפקדה גם אליהו בן-חורין, ותהומי ("גדעון") נתמנה מפקד הארגון המאוחד. לפי בקשתו חזר אברהם קריצ'בסקי מברלין (שם למד רפואה) והתמנה מפקד הסניף הירושלמי (כינויו "דן"). כעבור זמן קצר נמסר לידיו הפיקוד על סניף תל-אביב, ומשה רוזנברג התמנה סגנו. למפקד הסניף הירושלמי נתמנה יוסף בר-נון, מפעילי ארגון הספורט "מכבי" ומבוגרי קורס "איטליה".
בחיפה פרש מן ההגנה יהודה כרמי, ממפקדיו הבולטים של הסניף, ויחד עם נחום לוין, מראשי בית"ר בעיר ופעיל הסטודנטים בטכניון, הקימו את סניף האצ"ל בחיפה. בראש הסניף הוצבו אליהו בן-גרא (ויינר) ואברהם זיו, שניהם מן החבורה האודסאית, ששמרו אמונים לתהומי והחליטו להצטרף לארגונו. בעדותו מספר בן-גרא כי הוא ושני ה"אברהמים" (אברהם תהומי ואברהם קריצ'בסקי) היו חברי "הפועל הצעיר" ולא היה כל יסוד לחשוד בהם בנטייה לרביזיוניזם. הם נפגעו מן היחס אל תהומי ומהדרך שבה הודח מתפקידו. פגיעה זו עוררה את חמתם ולכן תמכו בארגונו של תהומי. לדעתו של בן-גרא, הפילוג נבע מסיבות אישיות בלבד ורק מאוחר יותר נוצרה האידאולוגיה של הארגון.
לאחר תקופה קצרה שבה ריכז בן-גרא את הסניף החיפאי, הוא הועבר לירושלים, ובמקומו נתמנה אברהם בן-זיו לניהול הסניף בחיפה. בירושלים מצא בן-גרא חבר מפקדים מגובש, שפעל זמן רב ביחד. בין המפקדים היה גם דוד רזיאל, ששימש מחסנאי ועמד בקשר ישיר עם מפקד הסניף. על רזיאל מספר בן-גרא: "רזיאל היה תלמיד באוניברסיטה בלימודי היהדות. הוא היה דתי ושומר מצוות. שקט מאוד. דיבר בלחש עד כי קשה היה לעיתים לשמוע אותו. הירבה בקפיצות לדום, במתיחות ובצייתנות. הצטיין במידת אחריות בלתי רגילה ובמשמעת עמוקה וכנה".
על אברהם שטרן, חברו של רזיאל, מספר בן-גרא: "שקט, אבל תקיף ונמרץ. בעל רמה שכלית בלתי רגילה, בעל הליכות נאות וצנועות. נאה בצורתו החיצונית ואידיאליסט בכל משמעות המילה. בעל משמעת וצייתנות בלתי מוגבלת".¹⁵
בחיפה, בראשותו של בן-זיו, הוקמה מפקדה שבין חבריה נמנו נחום לוין, סלפטר, יהודה כרמי, פייטלזון וצליוק. לסגנו של בן-זיו נבחר רפאל שפירא. ¹⁶
בוועד המפקח של הארגון בחיפה כיהנו: שלמה פרידלנד, תיאו בן-נחום, א.ד. ון-גלדר ופנטה גולדשמידט. תוך זמן קצר הצטרפו לארגון בחיפה 100 איש, ובשנת 1937 הגיע מספרם ל-150. אריה מהולל מספר כי ועדת הקבלה בחיפה פעלה בשנים 1936-1937 ב"בית החלוצות", ברחוב יל"ג. בין חבריה היו המהנדס שמעון ישי (ישונסקי) ואורי שי (שוגורינסקי). "מועמד להתקבל לארגון היה נכנס לאחר השמעת הסיסמה. החדר היה חשוך ורק פני המתקבל היו מוארות. על השולחן, העטוף בדגל הלאום, היו מונחים ספר תנ"ך ואקדח. בתום הטקס נשבע איש האצ"ל החדש להיות חייל נאמן לארצו ולארגונו". ¹⁷
הסניף הבא של הארגון היה בצפת. היזמה באה מוועד ההגנה בעיר שהתאכזב מאוד מהעדר עזרה בפרעות תרפ"ט. הסניף סבל מחוסר פעילות שגרם להתמרמרות רבה בקרב החברים. הכעס הופנה אל ראשי ההגנה, שלדעת החברים זנחו אותם, ובסוף נובמבר 1932 החליט הוועד המקומי לנטוש את ההגנה ולהצטרף לארגונו של תהומי. במכתב שהופנה אל יצחק בן-צבי פירט הוועד את הנימוקים לפרישה ונאמר בו, בין השאר: ¹⁸