乾宁二年（公元895年），李克用出兵抵抗邠州、凤翔的敌军，大军在渭北扎营。天子见李克用英勇善战，便任命他为邠州行营四面都统，以统领全军。李克用深感责任重大，便上表推荐李罕之为副都统，希望借助他的力量共同抵御敌军。
李罕之自从河阳失守后，一直依附于李克用，虽然时间越来越长，但他始终觉得没有立下什么大功劳。近年来，他更是厌倦了战争，感觉自己已经老了，无能为力了。因此，当李克用推荐他为副都统时，他并没有太多的喜悦，反而私下对晋将盖寓倾诉了自己的心声。
“我自从河阳失守后，来依附于晋王这棵大树，时间越来越长，却没有立下什么功劳。”李罕之叹息道，“近年来，我厌倦了战争，正所谓老了，无能为力了。我只希望晋王仁慈，太傅（指李克用）怜悯，给我一个小的城镇，让我休兵养病，一两年后就告老还乡，这就是我的幸运了。”
盖寓听了李罕之的话，心中有些感动，他觉得李罕之虽然勇猛善战，但内心却充满了无奈和疲惫。于是，他把这话告诉了李克用，希望李克用能够给李罕之一个安享晚年的机会。
然而，李克用听了之后却没有回答。他深知李罕之勇猛善战，但也明白他心性难测，难以驾驭。每当有藩镇缺少统帅时，商议时都不考虑李罕之，这让李罕之心中郁郁不乐。盖寓见状，担心他另有图谋，急忙为他说情。
李克用沉默片刻后，缓缓说道：“我对于李罕之，难道会吝惜一个城镇吗？但你要明白，我拥有李罕之，也如同董卓拥有吕布。吕布虽然勇猛无比，但最终却背叛了董卓，给他带来了灭顶之灾。李罕之虽然勇猛，但如同鹰鸟的本性，饱了就会飞走。我实在害怕他反复无常，危害到我。”
盖寓听了李克用的话，心中不禁一凛。他明白李克用的担忧并非无的放矢，李罕之的确是一个难以驾驭的人。但他也知道李罕之并非董卓那样的奸诈之人，只是心性难测，需要谨慎对待。
然而，事情的发展却出乎了所有人的意料。光化元年（公元898年）十二月，晋州的潞州统帅薛志勤去世。李罕之趁此机会，从泽州率领部众直接进入潞州，自称留后，并把情况禀报给李克用说：“听说薛志勤去世，新统帅还没到，我担心被其他盗贼趁机侵占，所以没等到命令，已经驻扎在潞州了。”
李克用得知消息后大怒，他觉得李罕之这是在挑战他的权威和底线。于是，他派遣李昭嗣讨伐李罕之，意图将他擒拿归案。李罕之见状，急忙捉住守将马溉、伊铎、何万友以及沁州刺史傅瑶等人，并派遣他的儿子李颢拘捕他们送给太祖以求得援助。
这一举动让李克用更加愤怒，他觉得李罕之这是在逼他出手。然而，此时的太祖却对李罕之产生了兴趣。他觉得李罕之勇猛善战，是一个难得的将才。于是，他接受了李罕之的投降，并上表推荐他为昭义军节度使。
然而，命运似乎并不眷顾李罕之。他刚刚被任命为昭义军节度使，就突然生病了，而且病情日益严重。他无法理事，只能躺在床上养病。第二年（公元899年）六月，李罕之的病情已经到了无法挽回的地步。太祖见状，命令丁会代替他担任昭义军节度使，并调李罕之为河阳节度使。
然而，李罕之的身体已经无法支撑他再去担任新的职务了。他在前往河阳的路上，走到怀州时，在客舍中静静地离开了这个世界，享年五十八岁。他的儿子李颢悲痛欲绝，用船载着父亲的灵柩回到了河阴县，将他安葬在了那里。开平二年（公元908年）春天，朝廷下诏追赠李罕之为中书令。