李善长投靠朱元璋时，正是朱元璋急需谋臣之际，朱元璋问他天下什么时候可以安定下来，他说：“秦乱，汉高起布衣，豁达大度，知人善任，不嗜杀人，五载成帝业。今元纲既紊，天下土崩瓦解。公濠产，距沛不远。山川王气，公当受之。法其所为，天下不足定也。”一番话深得朱的赞同，于是用为幕僚。
后来，朱元璋威名日盛，来投奔的人与日俱增，就由李善长考察他们，荐举优秀人才，臣僚之间出现矛盾时，也是李善长去做双方工作，消除隔阂，显示了很高的才能。郭子兴想把李善长调过来辅助自己，李善长坚决辞谢不去，使朱元璋更加信任他。李善长注重取信于民，建议严明军纪、禁止抢掠，朱元璋十分赞同，立即严厉整饬军纪，使百姓得以安定，由此朱元璋的队伍声名日振，附近百姓纷纷前来投奔。
为整顿军纪，李善长精心导演了一出“假杀徐达”的好戏，这出戏十分奏效，使徐军攻克镇江后，秋毫无犯，镇江城内平静如常，朱元璋的队伍更得民心，大大推进了根据地的扩展和军事上的成功。从此，“军机进退，赏罚章程，多决于善长”。此后朱元璋率军频繁作战，李善长则始终居守应天府，作为朱元璋的根据地，应天府至关重要，朱元璋信任李善长，才将应天委托给他，而李善长也没有辜负朱元璋的重托，他全力以赴，努力工作，表现出了极为出色的组织和管理才能，在很短时间里，便使应天将士和睦，社会安定，生产发展，百业兴旺，充裕的军用物资源源不断地送到前方，保证了军队的战斗，为朱元璋打下江山立了汗马功劳。
朱元璋自立为吴王，以李善长为右相国，他娴于辞令，明习故事，处理政务，裁决如流，将吏帖服，居民安堵，调兵转饷无乏，恢复制钱，榷淮盐，立茶法，开铁冶，定鱼税，国用益饶，而民不困，论功被封为宣国公。吴改官制，尚左，故李善长由右相国改称左相国，居百官之首。曾与刘基等裁定律令，作为“大总管”李善长被朱元璋称为“在世萧何”，可以说，他为明朝的建立、朱元璋的登基，功不可没。
此时此刻，李善长的身份极其尊贵，既是朱元璋登基典礼的“总导演”，还是是朱元璋的亲家翁。特别是大封功臣时，朱元璋说李善长虽然没有在战场上的军功，但“给军食，功甚大，宜进封大国”，乃授太师、中书左丞相，封韩国公，岁禄四千石，子孙世袭。除了这些，朱元璋更赐给李善长铁券，“免二死，子免一死”，即李善长本人凭此铁券，可以赦免两次死罪，其子可以赦免一次，当时封公的六个人中，李善长名列第一，朱元璋颁发的“嘉奖令”上，李善长被比作汉代的萧何，其风光在洪武功臣中独一无二。
李善长虽然功劳卓着，但他也有性格缺陷，《明史》说他“外宽和，内多忮刻”，即外表宽厚温和，而内心狭窄。参议李饮冰、杨希圣因侵犯了李善长的权力而遭灭顶之灾，李饮冰被割乳身亡，杨希圣遭劓鼻而残，太祖视察汴梁时，李善长亲信、中书省都事李彬犯罪，御史中丞刘基依法判斩，李善长却要求不作深究，刘基请示皇帝后，杀了李彬，李善长十分气愤，上奏诬告刘基专断擅权，还窜掇别的官员奏告刘基，刘基终于被迫告老回乡。
李善长位高权重，是淮西官僚集团的核心人物，在他的力荐下，胡惟庸从宁国知县一步步爬上左丞相的位置，他们当政时，淮西集团在朝中居于统治地位，处处排斥不是淮西派的官员。朱元璋虽靠淮西势力起家，但也要笼络更多的人才为自己服务，他更怕淮西集团势力膨胀威胁皇权，这就造成了朱、李间的矛盾，也埋下了李善长悲剧的伏笔。
胡惟庸为相后，大权在掌，专行横断，明太祖以擅权、植党、枉法等罪状杀了胡惟庸，接着大兴党狱，株连三万多人。虽然没有追究李善长，但对他的怀疑、不满却与日俱增。“反臣”胡惟庸的脑袋早已“搬家”多年，突然有人跑出来，揭发李善长的弟弟李存义父子“实为胡党”，尽管圣恩仍如雨露，说“免死吧”，但对李善长来说显然已危机四伏。
已经77岁的李善长修房子，向信国公汤和借士兵300人干私活，汤和没同意还奏了一本，该年，李善长又为一个犯了罪的叫丁斌的亲戚求情，按照常理，这在当时本来是一件并不大的事情，可不知何故又闹到了朱元璋那里。皇帝下令审讯，而这个丁斌过去曾在李善长家服务，很奇怪，他没有就事论事，交待李丞相是怎样为他请托免罪的，却直往心惊肉跳的事上扯，即李善长家族与胡惟庸的瓜葛。
于是，朱元璋命令将李存义父子投入大牢，谁曾想，一拷问竟审出了胡惟庸谋反前，多次拉拢李善长的事，虽前两次都被拒绝，后来李善长弟弟李存义在胡惟庸的说服下，也来做哥哥李善长的工作，李善长说了一句：“我老了，等我死后，你们想怎么干就怎么干吧。”结果被毫无疑问地被归属到了胡惟庸谋反集团里了，于是，等待李善长的就只能是接受处罚了。
朱元璋斥责李“元勋国戚，知逆谋不举，狐疑观望，心怀两端，大逆不道”，赐缢死，终年七十七岁，其全家七十余口一律处斩。朱元璋手诏条列其罪，为《昭示奸党三录》，布告天下。虞部郎中王国用上书为李喊冤：“善长与陛下同心，出万死以取天下，勋臣第一，生封公，死封王……使善长佐惟庸成，不过勋臣第一而已矣……今善长已死，言之无益，所愿陛下作戒将来耳。”太祖看了竟无话可说，明代史家郑晓、王世贞等人都对李善长参与谋反持否定态度。
李善长，字百室，明朝开国功臣，濠州定远人。年少时爱读书有智谋，后投靠朱元璋，跟随征战，出生入死，功劳颇多。明初任左丞相，后封宣国公，奉命监修《元史》，编写《祖训录》、《大明集礼》等书。被晋升为光禄大夫、左柱国、太师、中书左丞相，封为韩国公，年禄四千石，子孙世袭，可谓位极人臣。后胡惟庸案，朱元璋将李善长连同其妻女弟侄七十余人一并处死，年七十六岁。