朱元璋登基，任命李善长为左丞相，徐达为右丞相。李善长是朱元璋攻下滁阳后，接纳下来的谋士，指挥作战，组织供应，事事皆能妥善处理。还在朱元璋称吴王时，李善长便出任右相国，充分展现他裁决如流的才干，为功臣之首。洪武元年任左丞相，封韩国公，在朝廷上位列第一。徐达常年带兵在外作战，实权掌握在李善长手中。之后，他的儿子李祺又被朱元璋招为驸马，权势更加显赫，成为朝廷中掌握实权的淮西集团首领。淮西集团势力的日益膨胀，威胁到皇权。朱元璋对他颇存顾忌，于是在洪武四年，以年高有病为名，让李善长告老还乡，时年五十八岁。
其实，朱元璋早就有意撤换李善长，还曾经向刘基请教合适人选。刘基说：“善长为元勋旧臣，能调和诸将，不宜骤换。”朱元璋道：“善长屡言卿短，卿乃替他说情么?朕将令卿为右相。”刘基连忙顿首道：“臣实小材，何能任相?”可能刘基预料到在淮西集团当权的情况下，必然会受到排挤，故而坚决不肯任相职。朱元璋又问：“杨宪何如?”刘基答道：“宪有相材，无相器。”朱元璋又问：“汪广洋如何?”刘基道：“器量褊浅，比宪不如。”
太祖又问及胡惟庸，刘基连连摇头道：“不可不可，区区小犊，一经重用，偾辕破犁，祸且不浅了。”朱元璋默然无言。但是后来朱元璋还是根据李善长的推荐，任用了善于逢迎的胡惟庸。刘基叹道：“惟庸得志，必为民害。”胡惟庸得知后，便对刘基忌恨在心。不过，后来的事实证明，刘基的话还是有道理的。
因李善长的提携，胡惟庸于洪武六年，进入中书省，与汪广洋同任右丞相，左丞相空缺。胡惟庸入相后，他的精明干练很快得到朱元璋的赏识。这期间，胡惟庸还将自己的侄女嫁给了李善长的弟弟李存义的儿子李佑为妻，结成姻亲，使得他与李善长关系更进一步。有这样的元老重臣为后盾，胡惟庸更加胆大妄为。加上李善长的旧属们也极力帮助他，胡惟庸可谓如鱼得水。由于他逢迎有术，渐得朱元璋宠任。到洪武十年，进左丞相，位居百官之首，独揽丞相之权。
随着权势的不断增大，胡惟庸日益骄横跋扈，独揽丞相大权，生杀黜陟，为所欲为。内外诸司所上的奏章，胡惟庸必先取阅，对自己不利的，就隐匿不上报。他任意提拔、处罚官员，各地喜好钻营热衷仕进之徒、功臣武夫失意者，都奔走于他的门下，送给他的金帛、名马、玩好，不计其数。胡惟庸一时间权倾朝野，许多人都看他脸色行事，敢怒不敢言。大将军徐达对胡惟庸的擅权乱政，深恶痛绝，便把他的劣迹上告朱元璋。
对于异己者，胡惟庸必定会打击报复。之前，因入相问题，胡惟庸就与刘基有过节。恰恰瓯闽间有一片空地名叫谈洋，一向为盐枭占据，刘基奏请设巡检司进行管辖，盐枭不服，反而纠众作乱。刘基儿子刘琏将实情上奏，没有事先向中书省报告。掌管中书省的胡惟庸认为刘基蔑视他，越加愤怒，于是唆使刑部尚书吴云弹劾刘基，诬称谈洋有王气，刘基想据为己有，用来修墓，应严加惩处。朱元璋便对刘基夺俸，刘基忧愤成疾，没过多长时间就去世了。大将军徐达对胡惟庸的擅权乱政，深恶痛绝，便把他的劣迹上告朱元璋。谁知竟被胡惟庸闻知，忌恨在心，企图诱使徐达家的守门人福寿谋害徐达。但因福寿揭发，未能得逞。可见胡惟庸气量狭窄、心计毒辣。
对于胡惟庸的所作所为，朱元璋也略有察觉，对他的擅权更是感到不满。洪武十二年九月，又有阻隔占城贡使一事发生，胡惟庸等人未及时引见占城贡使，又与礼部互相推卸责任，朱元璋一怒之下，将他们尽行囚禁，不难看出，此时胡惟庸已经受到朱元璋的严重猜忌。就在这年十二月，又查出汪广洋被赐死时，有个从死的妾陈氏，竟是获罪后妻女并皆入官的陈知县的女儿。朱元璋得知后，更为震怒，说道：“没官妇女只给功臣家，文臣何以得给?”敕令法司要彻底追查此事，因此从胡惟庸以至六部堂属各官都难辞其咎、负有罪责。此时胡惟庸的地位已岌岌可危了。
在胡惟庸已明显失宠的情况下，大概是揣度到朱元璋的心理，洪武十三年正月，御史中丞涂节首先告胡惟庸谋反。与此同时，被谪为中书省属吏的御史中丞商暠，也揭发了胡惟庸的许多隐私。朱元璋接到告变后，立即命廷臣进行审讯，随即就把胡惟庸处死了。告变人涂节，也因朝臣参劾说他本来准备参加谋反，因事不成才告变，连同胡惟庸和另一主犯，曾与汪广洋一同参劾李善长的御史大夫陈宁，同时被杀。
洪武十三年，胡惟庸被处死后，胡惟庸案远没有结束，对于胡惟庸的罪状一直都在搜集查证。洪武十八年(1385)，有人告发李存义和他的儿子李佑，不仅是胡惟庸的至亲，还曾经伙同胡惟庸谋逆。胡惟庸虽已被诛，李存义也必须连坐。这可是祸从天降，并且为祸不轻，李家揣揣不安。但是朱元璋对此事并未严惩，还特别下诏，李存义与李佑都免于死罪，只是被贬到崇明岛闲住。可能是因为李善长为功臣元老，朱元璋念及旧情，因而特地从轻发落。按理李善长受到如此殊遇，应该上书谢恩，但是李善长对此事全然不予理会，这种态度令朱元璋感到非常不快。
胡惟庸案的查证一直都在继续着，并且有了新的进展。洪武十九年(1386)明州卫指挥林贤通倭事发，经审讯得知，他是奉胡惟庸的命令下海通倭的，胡惟庸谋反案有了进一步的证明。洪武二十三年(1390)，又捉拿到奸人封绩。封绩本是元朝的旧臣，后来归降于明，据说他经常往来于蒙、汉之间，曾经为胡惟庸给元嗣君送过信，胡惟庸在信中称臣，并请元嗣君出兵为外应。其实早在洪武二十一年(1388)，大将军蓝玉出塞时，在捕鱼儿海地方就捕获过封绩，但是由于李善长施加影响，并未上奏，就把封绩给放了。直到这次，由于封绩再次被捕入狱，李善长终于也被牵连进来了。
恰在此时，李善长为了娱老，大兴土木，因缺少工人，向信国公汤和借用卫卒三百名，以供营建。以营卒为工役，这种事情本是常事。但汤和胆小怕事，又不敢得罪李善长，因而表面应允，暗中却向朱元璋报告，这无疑是说李善长私自集结兵力。凑巧，京中吏民为党狱诛累，坐罪徙边，约有数百人，中间有一个叫丁斌的，为李善长私亲，李善长便替他求免。由于朱元璋对李善长的猜忌之心日重，他不但没有答应李善长的请求，反而命令将丁斌拿获。经审讯得知，丁斌偏巧曾经供事胡惟庸家，于是供出不少李、胡两家的往来之事。这样，便认定了李存义、李佑父子伙同谋叛的罪状，立即将他们从崇明岛拘捕进京，重新审理定罪。
接着，朱元璋便颁布严敕说，李善长以“元勋国戚，知逆谋不举，狐疑观望怀两端，大逆不道”。真是欲加之罪何患无辞!于是，七十七岁的李善长被赐死，其妻、女、弟、侄等一门七十馀人被杀。只有李善长的长子李祺及两个儿子，因为临安公主的缘故，得以免死，流徙江浦。
与此同时，朱元璋又策划陆仲亨的家奴告发陆仲亨与唐胜宗、费聚、赵雄三名侯爵，曾串通胡惟庸“共谋不轨”。一场“肃清逆党”的政治运动铺天盖地而来，到处侦捕，牵连蔓引，共有三万馀人被诛戮。连一向与胡惟庸关系疏远的“浙东四先生”也未能幸免，叶昇以“胡党”被杀，宋濂的孙子宋慎也牵连被杀，宋濂本人则贬死于四川茅州。为了平服人心，朱元璋特地颁布《昭示奸党录》，刊印多册，发往各地，晓谕臣民，以此为戒。胡惟庸案至此才算告一段落，前后迁延近十年。
朱元璋如此煞费苦心，兴此大案，究竟是何用意?
朱元璋建立明朝之初，设有宰相制，宰相都称为丞相，当时丞相共有左、右二员，左比右大，分任左、右丞相的是李善长和徐达两人。朱元璋即帝位后，逐渐感到帝权与相权的冲突，唯恐臣下权力太大，会导致元末“宰相专权”、“臣操威福”的局面重演。有鉴于此，几次设法试图调整，以加强皇权。最早被杀的是中书左丞相杨宪。
杨宪于洪武二年九月入为中书右丞，洪武三年李善长病休时，便实际操纵中书省大权，升为左丞。他玩弄权术，陷害同僚，“市权要宠”，很快被朱元璋杀死。接着是右丞相汪广洋被杀。朱元璋鉴于李善长权力过大，威胁帝权，于是在撤换李善长后，最初选中了汪广洋接替李善长的相位。汪广洋遇事小心谨慎，又以“廉明持重，善理繁剧”而著称。
洪武六年，胡惟庸进入中书省，与汪广洋共任右丞相。之后，汪广洋以“无所建白”贬为广东参政。但是汪广洋一离相位后，胡惟庸遇事专断与李善长相比有过之无不及。况且李善长还借胡惟庸等人，遥执相权，势力更甚于前。汪广洋被贬后，当然也不服气，便暗中收集李善长的不法证据，于洪武九年(1376)与御史大夫陈宁，合疏参劾李善长有“大不敬”之罪。
这当然正中朱元璋的下怀，于是洪武十年九月，朱元璋先升胡惟庸为左丞相，再调回汪广洋为右丞相，以牵制胡惟庸，改变胡惟庸独相的局面。然而汪广洋复相后，整日喝酒，并没有起到应有的牵制作用，反而事事调和，公事“惟以他官剖决，不问是非，随而举行”。这令朱元璋大为失望，又把他贬往广南地区。即使这样，仍未能平息朱元璋的怒气，便又追加诏书，下令追到后，即将汪广洋就地处死，洪武十二年十二月汪广洋被贬杀。
在胡惟庸案以后，明朝就再也没有设置过宰相，并且朱元璋还立下了祖宗家法，那就是子孙后代都不许再设立宰相。明初的丞相擅权不行，尸位素餐也不行，放权、抓权均无好下场。朱元璋对于相权的存在实际上已深为反感，他不能容忍相权过大，绝不希望有凌驾于众人之上的权臣存在，废相只是时间问题。然而胡惟庸的独断专行，使相权与皇权的冲突更为明朗化了。胡惟庸之前，李善长小心谨慎，徐达经常带兵在外，汪广洋只知饮酒吟诗，皇权与相权的矛盾尚不突出。但胡惟庸为相七年，擅权乱政，使得朱元璋感得大权旁落，除了剪除别无选择。
