1901 年11 月8 日，徐向前出生在山西省五台县永安村一个穷苦的农家，其父徐懋淮是个秀才，给儿子取名为徐象谦，希望其今后能象模象样儿地谦虚做人。
    10 岁时，徐象谦被送到本村的私塾读书， 不久，又转到东冶镇的沱阳高等小学就读。沱阳小学是一所比较正规的新式学堂，除了国文、算术、历史、地理，每日还有体操课，还时有军事训练，反映了辛亥革命后的新气象。这一切让徐象谦大开眼界，徐象谦便将自己的名字改为“徐向前”，意为从小刻苦学习，慢慢积累本事， 永远地向上、向前，决不退后。
    然而，由于家境困难，年迈的父亲已经没有能力再供两个儿子同时上学了。在他和哥哥之间，父亲选择了让哥哥继续读书。
     辍学在家的徐向前一边打柴种地，一边自学。父亲看到徐向前小小年纪，却如此用功，便通过熟人介绍，给徐向前在远离家乡的河北阜平一家书店找到了一个学徒的差事。学徒虽然很苦，好在有书为伴，徐向前通读了书店里的《罗通演义》、《三国演义》、《西游记》、《水浒》、《史记》和《孙子》等书籍。他喜欢水泊梁山的英雄好汉，钦慕那些为民除害的剑侠、智勇双全的将帅。就这样，徐向前心中开始萌生报效祖国的雄心壮志，激发了其学军习武的浓厚兴趣。
    1919 年春季的一天，在店里干活的徐向前忽然收到了哥哥从太原来信，说省立国民师范学校正在招生，是公费。徐向前立刻赶往太原并顺利通过了考试，成为山西国民师范第一期速成班的学生。这所学校是山西土皇帝阎锡山为培养巩固自己统治的人才而兴办的。两年后，徐向前毕业，被分配到阳曲县太原第四小学任教。正当启蒙之火在他胸中烧燃时， 一盆冷水浇了下来。寒假期间，徐向前收到校方给他寄来的一封“辞退书”。
    徐向前当然知道校方辞退他的真正原因，是他的进步言论与当时的环境格格不入。1922 年，徐向前又在阎锡山老家河边村川至中学附小得到任教的机会。在教学之余，徐向前经常给孩子们讲鸦片战争、太平天国、义和团运动、辛亥革命等历史故事，他的目的是“要尽教师的责任”，引导这些幼小的心灵从书本里走出来，立志报国以改变中国。
     这所学校的校长段保芳，是阎锡山直接委派的，治校偏于保守，不准新思想的传播。徐向前讲的这些，自然传到了校长的耳朵里，徐向前的授课遭到校长干涉，双方发生争执。1923年，他又一次被学校辞退了。
    徐向前气愤之下，冒着风雪跑到太原自谋生路，适逢孙中山在广州创办黄埔军校， 张榜招生。徐向前喜出望外，约了几个同乡，凑了点路费，在徐向前太原一个郭姓军官介绍下，乘火车南下上海参加考试。1924 年，他顺利通过了初试，不久又前往广州参加复试，结果徐向前和同来的十几个同乡全部被录取。徐向前踌躇满志，踏上了黄埔岛，被编入黄埔军校第一期第一队，从此开始了戎马生涯。