גדודי החיל הראשונים נוסדו יש מאין. התותחים לא היו זהים. מצבת התותחים היתה מכל הבא לארץ בעת הקרבות. מפקד החיל במלחמת העצמאות, שמואל אדמון, דאג כל זמן המלחמה לרכז את התותחים תחת הנהגתן של מפקדות החטיבות, כדי שיוכלו לסייע בקרבות.
היו אף כאלה שגרסו, כי יש להתחיל לנייע את התותחים הקטנים. החזון הזה הוביל להקמתו של גרעין מתנייע בתוך מלחמת העצמאות. הדרך: העמסת תותחים על משאית והובלתם לקרבות חטיבת "כרמלי" שבצפון.
וכך מספר שמואל אדמון על התקופה: "בתקופתי כקתמ"ר חל גידול משמעותי בכמות התותחים, שחיל התותחנים קלט. חל גם גידול משמעותי בכמות התחמושת, וחיל התותחנים החל מתארגן במחנות קבע. בית הספר לתותחנות שדה, שנוסד בתחילת מלחמת העצמאות, הפך לבית הספר המקצועי לתותחנות, היחיד בצה"ל. אורגנו יחידות בסדר גודל של גדוד, שסייעו לצה"ל בקרבות מלחמת העצמאות."
בן דונקלמן, קצין מרגמות קנדי, שהיה לימים המפקד הראשון של חטיבה 7 המשוריינת, היה בין יוזמי הקמתו של גדוד המרגמות הראשון. לאחר תקופה ארוכה של חיפוש כלים ולוחמים גובשה פלוגת רגמים, סוללת מרגמות.
בן דונקלמן נזכר בספרו: "בתחילת יוני 1948, לאחר שהעברתי אנשים בקורס מהיר אך יסודי, היתה סוללת המרגמות הראשונה מוכנה לקרב בירושלים. מדברי דוד בן-גוריון הבינותי, כי אפקד עליה אישית, אחזור עמה ירושלימה ואוליך אותה לקרב. זכרתי כיצד השתתפתי חסר אונים בקרב אחר בירושלים, ולא יכולתי להכות בערבים, שהמטירו פגזים סביבנו. זיכרונות אלה היו חריפים כל כך, שרוחי קצרה לחזור שמה עם המרגמות שלנו. כמו כן הסעירה אותי האפשרות להשתתף בשיירה הראשונה, שתעבור ב'דרך בורמה' - הכביש שנפרץ בדרך לירושלים הנצורה, והייתי גאה בו מאוד."
הגדודים הראשונים שהוקמו היו כמובן גדודי המרגמות. כזה היה גדודו של משה אבידר (היפשר). גדוד המרגמות הראשון - הגמ"כ (גדוד מרגמות כבדות) - היה, לדבריו, שילוב של רגמים צעירים, שאומנו בתוך הקרבות, כלים, שהיו בני-שימוש, ומפקדים צעירים, שעברו מסלול הדרכה קרבי. גדוד המרגמות היה הגדוד הרביעי בחטיבה מספר 1 - חטיבת "גולני". "שירתנו אז ב'גולני'," סיפר משה אבידר, "היינו הגדוד הרביעי בחטיבה, והיינו חלק בלתי-נפרד ממנה. פעלנו בכל הקרבות של החטיבה ואיבדנו אנשים כדרך ש'גולני' למודת הקרבות איבדה במרוצת דרכה הקרבית."