第一任左、右丞相分别是李善长和徐达。李善长为人处事，向来以小心谨慎著称。徐达则较多时间是带兵征战在外。他们都没有与皇上朱元璋形成大的矛盾冲突。但相位传给胡惟庸之后，事情就发生了变化，他同朱元璋的矛盾后来发展到你死我活的程度。胡惟庸是定远人，是淮西集团中的重要人物之一，是开国第一号功臣李善长的女婿，他依仗着李善长这个后台当上了左丞相。他在朝中，大权独揽，独断专行，不向朱元璋请示。朱元璋怎么会容忍在自己身边！在胡惟庸还没有擢升丞相之前，刘基就曾经对朱元璋说过，胡惟庸是一头难驯的猛兽。后来刘基父子又上书朱元璋，揭发胡惟庸的罪状。不久，刘基病。胡惟庸就假装关心，挟带医生去探病。刘基吃了这位医生的药之后，立感胸中不适，没住几天，这位开国功臣就这样被胡惟庸暗害了。朱元璋下决心寻找机会来除掉这个心腹大患。一天，胡惟庸的儿子乘马车在南京城里招摇过市，不小心从车上跌了下来，摔死了。胡惟庸以车夫抵命。朱元璋知道后，十分气愤，他非要胡惟庸偿命不可。胡惟庸请求，向车夫家人赔偿金帛以此了事。朱元璋坚决不准。胡惟庸听了十分紧张，遂坚定了起事的决心。洪武十三年正月，胡惟庸入奏，诡称京宅中井出醴泉，请朱元璋去观看。朱元璋好大喜功，信以为真。他正行进中，突然内使云奇冲上跸道，拦住车马，慌忙中一时泣不成声。朱元璋以为不敬，即令左右侍卫挝棰乱下。顿时，云奇右臂被砸断，但他毅然手指胡惟庸的宅第。朱元璋猛悟，急忙返驾登城，远远望见胡惟庸宅第中饶有兵气，知系谋逆，即发羽林军逮捕胡惟庸，将其抄家灭族。同时宣布撤销中书省，罢除丞相，提高吏、户、礼、兵、刑、工等六部的地位。由六部分理朝政，直接对皇上负责。并且规定，后代皇帝不得再立丞相，大臣中如果有奏请再立者，处以重刑。胡惟庸案株连蔓引，先后持续了数年。洪武二十三年，朱元璋再兴大狱，又杀了几十家公侯官员。这样，整个胡案前后共杀掉了三万多人。连位居　“勋臣第一”的年迈77岁的李善长，也以天有星变，须杀大臣应灾为由，全家70多口人全部伏诛。朱元璋在继废中书、罢丞相之后，又对中央监察、审判机关进行了一系列的改革和调整。洪武十五年，朱元璋改为都察院。下设十三道，一百一十名监察御史。其职权是纠劾百官，辨明冤枉。这些监察御史本来只是七品官，但什么话都可以说，什么官都可以告发。在朝可监察一切官僚机构，出使到地方则巡按、监军、巡盐、巡漕、巡关、提督学校等。特别是巡按御史，权力更大。因为他是代表皇帝出巡，小事立断，大事可直接报告皇上裁决。朱元璋这种以小制大，以内制外的做法，使这些人实际上成了皇帝打击异己的耳目。加上督察六部官吏的中央六科给事中和都察院、大理寺、刑部，中央三法司的相互配合和纠举，进一步巩固了中央的统治，加强了皇帝至高无上的权力。经过这样一番改革整顿，朱元璋的皇权确实是强化了。但皇帝的政务也随着繁重起来了。过去政务有丞相协助，现在朱元璋一人独揽大权，事无巨细。尽管这样，政务纷繁的矛盾还是没有解决。长此下去，或者皇帝身体要累垮，或者要延误军国大事。朱元璋于洪武十五年，设置了华盖殿、文华殿、武英殿、文渊殿、东阁等殿阁大学士，由品级比较低的编修、检讨、讲读等官来充任，以帮助朱元璋来阅读奏章，处理起草文书，襄助侍从，以备顾问。昔日的忙乱现象逐渐改观了。