省委书记张太雷来到叶挺家里，告知中央批准了广州起义计划，决定12月13日举行广州起义，叶挺担任起义总指挥、工农红军总司令。叶挺虽对起义心存疑义，但仍坚决地接受了任务。1927年12月11日凌晨，广州起义提前举行。兵力空虚的张发奎部队很快被起义部队消灭，起义军天亮时占领了全城。叶挺和张太雷等领导人来到广州市公安局，宣布广州苏维埃政府成立。叶挺在会上作军事报告，并下令整编各起义部队为工农红军。张发奎等军阀在帝国主义军舰支持下反攻广州，形势危急，叶挺建议起义部队撤离广州到农村建立根据地，受到诺伊曼等人严厉斥责。12日下午，张太雷在指挥战斗时不幸牺牲，叶挺接替总指挥重任，坚持与敌人激战。敌众我寡，广州起义终告失败，敌人攻占广州城，叶挺化装潜回香港隐蔽。

1928年1月1日至5日，中央代表李立三在香港主持召开省委扩大会议，清算广州起义领导人错误。叶挺受到“留党查看六个月”的处分，虽然中央很快纠正了李的错误决定，但叶挺的自尊心仍受到了极大伤害。1928年春节后，为躲避敌人追捕，排遣胸中郁闷，叶挺到新加坡等地，受到华侨热烈欢迎，也引起敌人的注意。党的六大即将召开前夕，叶挺在周恩来帮助下去莫斯科申诉。

叶挺来到莫斯科，认真地向党中央和共产国际写了关于广州起义的报告，申诉了自己的观点，却石沉大海无消息。他找到共产国际东方部，巧遇中央委员项英同志，却遭到王明冷遇。王明还说了许多伤害同志的尖刻话，叶挺无法容忍，震怒之下离开了莫斯科，脱离了党的关系，到欧洲等地流亡。

叶挺只身流亡到德国首都柏林，经济日趋窘迫，开始隐姓埋名做工糊口。他包过留学生伙食，卖过水果和豆腐，开过饭馆，甚至拣过剩菜叶，饱尝了生活的辛酸，也更坚定了革命意志。他研究德国的政治、军事、经济、文化，秘密进行了多项军事化学实验，并取得了实质性的进展。他时刻关注国内革命斗争的动向，通过与周恩来、宋庆龄、廖承志、邓演达等人的来往，革命热情日益高涨，恨不能立刻回国去参加革命斗争，投身到武装革命的洪流中去。

1931年“九一八事变”爆发后，叶挺再也不能平静了，通过各种途径关注国内局势，为祖国前途和命运深深担忧。1932年秋，叶挺举家返回澳门。国民党方面陈济棠、陈诚、余汉谋等多次对他拉拢利诱，叶挺心胸坦荡，予以坚决回绝。叶挺意外地见到了中共中央军委派驻十九路军的军事代表张云逸，使他看到了光明和希望。

不久，周恩来看望叶挺，两位生死战友重逢，都流下激动的热泪。周恩来希望叶挺出面参与改编南方八省红军游击队为国军的工作，叶挺欣然接受使命。

1937年8月底，叶挺在战场指挥所找到陈诚，提出参与改编南方八省红军游击队为国民革命军新编第四军的愿望，陈诚答应向蒋介石报批。1937年9月28日，未经中共同意，国民政府军委会铨叙厅宣布“经委员长核定，任命叶挺为新编第四军军长”。中共中央措手不及，通过周恩来邀请叶挺去延安面晤。

叶挺途经西安等地辗转来到延安，受到中共中央及延安军民的热烈欢迎。毛泽东在窑洞门外迎接叶挺，称赞“你是我们共产党第一任总司令，人民军队的战史要从你写起！”给予叶挺极大的鼓舞。次日，中共中央在抗大礼堂开会欢迎叶挺军长，毛泽东和叶挺都讲了话，延安之行成功圆满。