隋炀帝独断专行、自以为是，不喜欢臣下进谏，还诛杀了好些元老重臣，使朝臣们不敢讲真话，统治阶级内部分崩离析、众叛亲离。隋炀帝对人民残酷的剥削和压迫，迫使人民揭竿而起，全国各地掀起了起义的浪潮。
隋炀帝第二次发动对高丽的战争时，派杨玄感督运粮草。杨玄感的父亲杨素原是隋炀帝的亲信，帮助隋炀帝夺取了皇位，后来却遭到猜忌而闷闷不乐地死去。杨玄感因此而对隋炀帝极为不满，很想利用天下混乱的局势，乘机把隋炀帝推翻。
杨玄感发动运送粮草的八千个民工起义，但苦于没有一个人替自己出谋划策，就把老朋友李密请来当谋士。
李密的祖上是北周和隋朝的贵族。李密少年时在隋炀帝的宫中当侍卫，因为过分机灵，隋炀帝觉得他不老实，就免了他这份差使。他回家后发愤读书，决心做个有学问的人。有一次他骑着牛出门看朋友，坐在牛背上还在看书，正巧遇到宰相杨素，两人便交谈起来。杨素觉得这个年轻人很有抱负，就把李密介绍给儿子杨玄感，并对他说：“将来你碰到重要的事情，可以找李密商量。”
杨玄感起义，就找到李密请教：“我想推翻这个暴君，不知该怎么行动?”
李密道：“从目前形势来看，要推翻暴君，有三条计策可行。上策是：暴君正在攻打高丽，我们举兵北上，断他的退路，他没了粮草，军心波动，自然就败了;中策是：夺取长安，把暴君的老家给砸了，如果他杀回来，我们可以凭险坚守，把关中做根据地;下策是：就近拿下东都洛阳，给暴君一个震撼。”
杨玄感急于求成，认为前两条计策太费事，于是就选择了下策。马上出兵朝洛阳打去，连打了几个胜仗，许多农民要求参加起义军，队伍迅速扩大到十万人。
隋炀帝收到告急文书，立即派大将宇文述等带领大军分头攻击杨玄感，很快就把这支起义队伍给消灭了，杨玄感也被杀。
李密趁着混乱溜跑了，但官军搜捕得很严密，不久他还是被抓住了。在押往隋炀帝行营的路上，李密和其他几个被捕者商量，把随身的财物都送给看押他们的士兵，趁他们忙于喝酒作乐、防备松懈时逃掉了。
虽然暂时脱离了危险，但东躲西藏总不是办法，李密便决定去东郡(今河南滑县东)投奔一支比较强大的起义军。
这支起义军以瓦岗寨为根据地，多数成员都是擅长使用长枪的渔民和猎户，还有一些贫苦农民，他们都很勇敢善战。瓦岗军的首领翟(zhái)让，作战骁勇，而且有胆略，有气度，在瓦岗军中有很高的威望。他率领瓦岗军专门打击官府富豪，前来投奔的人越来越多，起义军队伍扩大到一万多人。
李密参加瓦岗军后，帮助翟让整顿队伍，还积极联络附近各部起义军，说服他们与瓦岗军联合，听从翟让指挥。翟让非常高兴，对李密越来越信任。
李密鼓励翟让干一番大事业，建议首先攻打荥阳，并获得了胜利。隋炀帝派大将张须陀带重兵来镇压。李密请翟让正面迎敌，自己则在荥阳大海寺北面的丛林里设下埋伏，把张须陀率领的官军引进圈套，全部歼灭，张须陀也成了瓦岗军刀下之鬼。
从此，瓦岗军声威大震，李密的威信也提高了。他不但要求部下纪律严明，而且自己能以身作则，生活也过得很朴素，从而赢得了瓦岗军上下的拥戴。
攻打荥阳胜利后，第二年春天，李密又建议翟让趁隋炀帝到江都巡游、东都洛阳空虚的机会，赶紧进攻洛阳。不料被官方察觉，加强了洛阳的防御力量。李密当即改变计划，建议先攻打洛阳附近的兴洛仓(在今河南巩义东北)，一战而获全胜。
兴洛仓是隋朝最大的一个粮仓，瓦岗军把它攻克后，马上开仓赈(zhèn)饥。常年挨饿的百姓，从四面八方拥向粮仓，当他们领到粮食时，一个个眼中含着泪花，对瓦岗军充满了感激之情。
贫苦的农民纷纷参加瓦岗军，孟让、郝孝德等部起义军也来归附，瓦岗军很快发展到几十万人，占领了河南大部分郡县。这时，翟让感到自己的能力不如李密，就把首领的位子让给了他。李密取得瓦岗军领导权后，建国号为魏，被推为魏公，兼任行军元帅，政权机构称“行军元帅魏公府”。
李密在整顿了内部机构的同时，发布檄(xi)文，声讨隋炀帝的罪行，号召人民起来推翻隋王朝。他还大量起用隋的降官降将，引起原来一些起义军部将的不满。为了巩固自己的地位，李密又安排刀斧手，设计杀害了翟让。从此，瓦岗军内部发生严重分裂，开始走了下坡路。
