隋朝末年，隋炀帝的统治更加残暴，广大人民不堪痛苦，纷纷举行起义。大业七年（611），山东邹平人王薄，首先举起了反隋的旗帜。不少农民响应了王薄的号召，跟随他一道起义。他们占领了长白山（在今山东邹平东南），到处攻打官军。不久，各地农民也接着起义，农民战争的大风暴迅速席卷了全国的大部分地区。
自611年到618年，隋末农民战争共历时八年。这八年，大致可以分为三个阶段。从611年到614年，为第一阶段。在这一阶段，农民军由于缺乏训练和装备，加上各支队伍分散作战，彼此未能很好联系，以致在对敌斗争中，暂时处于劣势地位；但是另一方面被推进穷困深渊的农民大批参加起义军，因此农民起义的队伍反而在局部失败中一天天更加壮大起来。从614年到616年，为第二阶段。在这一阶段，农民军不仅在山东、河北一带巩固了自己的据点，夺取了一些重要的城市，并且还在江淮地区取得了很大的胜利；而隋朝封建统治者由于不断受到农民军的沉重打击，这时已无法再维持其原有的军事优势，起义军的力量已逐渐发展到了和隋军接近平衡的地步。从616年到618年，为第三阶段。在这一阶段，隋军的力量日益微弱，农民起义军在军事上完全转入了主动地位，隋政权日益走向崩溃，以致最后覆灭。
根据史书的记载，隋末农民起义大约有一百二十余处。各路起义军逐渐汇合，后来形成了三个最强大、最著名的军队，这就是河南的瓦岗军、河北的窦建德军和江淮之间的杜伏威军。
瓦岗（在今河南省滑县南）军的最初领导人是河南人翟让。后来，单雄信、徐世勣（jì）等人都来参加起义。616年，李密也投奔到瓦岗军来。李密很有才干，他加入瓦岗军后，一面劝翟让明确地提出反抗隋朝暴政的口号，一面亲自去劝说各地起义领袖加入瓦岗军。瓦岗军的势力迅速壮大起来，成为当时最强大的一支农民武装力量。
616年，瓦岗军攻下了金堤关（在今河南滑县东） 和荥阳（今河南荥阳） 附近各县，隋炀帝派大将张须陀率兵前往镇压，瓦岗军埋伏在荥阳大海寺北面的树林里，隋军中了埋伏，被杀得大败，张须陀自杀。617年，瓦岗军一举攻下今河南巩义附近隋的著名粮仓——洛口仓，并且开仓放粮，赈济百姓。附近人民扶老携幼前来领粮，他们对瓦岗军一致表示感戴。瓦岗军发展到几十万人，河南的郡县大多被他们占领。
瓦岗军攻占洛口仓后，隋朝大为震恐，派刘长恭、裴仁基领兵前来堵击，两军在石子河（今巩义东南）会战，隋军大败，裴仁基率领部下秦琼、罗士信投降瓦岗军。经过这几次胜利，李密被翟让等推为瓦岗军的领袖。617年年底至618年年初，瓦岗军大败隋将王世充军。东都（今河南洛阳，是隋炀帝为了加强中央对地方的控制而建立的一个新都）几乎被瓦岗军围困住。在推翻隋朝统治的过程中，瓦岗军起了重大的作用。《隋唐演义》和《说唐》两部小说中所写的瓦岗寨故事，就是以瓦岗军历史素材作为依据的。不过，小说又进行了许多渲染和虚构，因此和历史真实情况有很多地方不同。
窦建德领导的起义军，活动于河北一带。616年，他曾以七千人大破隋军郭绚部，“杀略数千人，获马千余匹”。617年，当瓦岗军进迫东都时，隋炀帝命薛世雄率领河北三万精锐援救东都，窦建德侦知消息，在河间大败薛世雄军，河北郡县大部被窦建德乘胜攻下。在江淮一带，杜伏威领导的起义军，势力最大。617年，杜伏威率军打败了隋将陈稜的军队，占领了江北广大地区，又占据了历阳（今安徽和县）作为根据地。江淮之间的小支起义军，大多聚集在杜伏威的周围。隋的军事重镇江都受到了严重威胁。
在以上几支起义军的打击下，隋军只能困守长安、洛阳、江都几座孤城，号称“甲兵强盛”的隋朝统治，实际上已经土崩瓦解。（曹增祥）