第一，怕隋炀帝断他后路。隋炀帝别看在江都醉生梦死，但人家可是打仗出身，不知道什么时候忽然振作起来可不是闹着玩的。隋炀帝带领的关陇骁勇是当时天下最精锐的部队，武器精良训练有素，就李密手底下这帮强盗出身的乌合之众，根本不值一打。什么瓦岗寨英雄，什么三十六路烟尘，遇到隋炀帝都是白给。后来宇文化及把隋炀帝杀了，带领这帮人回长安，结果被李密拦住不让回，双方一场血战，李密差点被一箭射死。幸亏宇文化及众叛亲离不得人心，李密方才险胜。如果让隋炀帝带着这帮人，李密根本打不赢。
第二，被李渊忽悠了。就在李密跟王世充在洛阳死磕的时候，李渊也起兵了。李渊玩的晚，没人没钱，就是三个儿子带了万把人，跟李密比起来根本不在一个层次，就怕李密不攻洛阳直取长安，就给李密写信，认李密为大弟，老弟啊，一笔写不出两个李字。杨隋气数已尽，以后代隋的就是你。谶语说姓李的当得天下，肯定会应在你身上。我老了，五十多岁人了，没啥想法了。以后能跟着你喝口汤就心满意足了。李密被李渊一通忽悠，不知道自己几斤几两了，跟部下说，李渊都想推我日后当皇帝，我还有啥可担心的。于是彻底打消了直取长安的念头，一门心思死磕王世充。
第三，杨玄感的前车之鉴。大业九年，杨玄感起兵造反，找李密商议对策，李密就出了个直取长安的主意，杨玄感听了。李密说，关中四塞之地，守卫长安城的都是老弱病残，很容易拿下。拿下长安，得到关陇集团的支持，让杨广回不了家。杨玄感听了，带领精锐部队直取长安，但是路上却耽误了三四天，围攻位于河南陕县的弘农宫，结果被隋军包了饺子，杨玄感兵败自杀。所以李密也怕被隋军包了饺子，自己往前攻长安一时下不来，往后隋军追了上来，里外夹击，自己就会像杨玄感一样被包了饺子，人头被部下拿去请功，所以死也要拿下洛阳再图长安。
综上所述，李密哪敢去长安啊，只能去和王世充死磕了。
