洪武二十三年(1390年),四月,京城有百姓受株连而被发配到边疆,李善长屡次请求赦免其亲戚丁斌等。朱元璋大怒,将丁斌治罪。丁斌以前在胡惟庸家做的事,他供出李存义等过去与胡惟庸互相交往的情况。
于是朱元璋下令将李存义父子逮捕审讯,他们的供词牵连到李善长,供词上说:“胡惟庸企图谋反,派李存义暗地里劝说李善长。李善长惊叱道“:你这么说到底为了什么?你们一定要慎重,否则九族都要被灭。”不久,又派李善长的老友杨文裕去劝他说:“事成之后,当以淮西之地封你为王。”李善长惊骇不已,仍不同意,却又颇为心动。
胡惟庸于是亲自去劝说李善长,仍然不同意。过了一段时间后,胡惟庸又派李存义去劝说,李善长叹道:“我已经老了。我死之后,你们好自为之。”有人又告发李善长说:“将军蓝玉率军出塞,到捕鱼儿海时,俘获胡惟庸私通沙漠使者封绩,李善长却匿而不报。”
于是,御史竞相上奏弹劾李善长。而李善长的奴仆卢仲谦等,也告发李善长与胡惟庸之间互相贿赠,经常偷偷私语。 最终证据确凿,说李善长虽是皇亲国戚,知道有叛逆阴谋却不揭发检举,而是徘徊观望,心怀两端,大逆不道。于是,朱元璋便将李善长连同其妻女弟侄等全家七十余人一并处死。
欲加之罪何患无辞,朱元璋大杀功臣并不稀奇,李善长跟随朱元璋打天下,他的功劳是在太大,朱元璋认为他会威胁到自己孙子将来的皇位,所以才会将其斩杀。