当元军破了宋朝要塞鄂州后，李芾才刚刚被重新起用，任湖南提刑（后代的按察使），主管所属湖南的司法、刑狱和监察，兼管农桑。

当时郡县强盗扰乱，李芾命令所部发动民兵自卫，百姓才安定下来。

他知道蒙元进逼，号召派遣军队，挑选壮士三千人，让乡里的武人尹奋忠率领，前往救援朝廷，另外招募民兵集中在衡州做防御的准备。

没有多久，贾似道在芜湖兵溃，朝廷恢复了李芾的官职等级，委任他为潭州兼湖南安抚使。

当时湖北州郡都已经归附蒙元，李芾的朋友们劝他不要去上任，还有的说：&ldo;实在没有办法，单人前往就行了。

&rdo;李芾说：&ldo;吾世受国恩，虽废弃中，犹思所以报者，今幸用我，我以家许国矣！

&rdo;（我世代受到国家的恩惠，即使是在被废弃期间我还想着如何报国，今天侥幸任用我，我就把家都交给国家吧！

）这时的李芾该是个老人了，因为他的孙子已经在准备结婚。

接到任命时，他的女儿刚刚死去，李芾痛哭一场，带着家眷来到了潭州。

此时，蒙元的右丞大将阿里海牙的十万大军已经南下，元军游骑已到湘阴、益阳诸县，潭州守军早已调赴前线，也大多死在了前线。

潭州城内空虚，人心惶惶，一夕数惊。

受命于危难之际，李芾加紧进行守城的准备。

他紧急召集城内尚能作战的军民约三千人，又约请湘西苗民为援，同时储备粮食，整修器械，加固城垣，在江中植立栅栏修筑营垒，命令刘孝忠统领各军。

吴继明从湖北来了，陈义、陈元从戍守巴蜀回来，李芾奏请留下他们戍守潭州，推许诚心任用他们，得到了他们的拼死效力。

九月，阿里海牙以主力军队进入潭州地域，李芾派遣将领於兴率兵在湘阴抵御，於兴战死。

他又调遣吴继明出城抵御，军队来不及出发，蒙元大军已经包围了潭州城。

元军设连营环锁，重兵围城，使广西、湖南衡州（今衡阳）宋军不敢赴援。

元水军溯江而上，破李芾所置木桩十五处，拔掉了城西的铁栅，she书城中招降，李芾不应。

十月，阿里海牙令决隍水（护城河水），竖云梯，攻西城。

李芾亲冒矢石督战，与诸将分地守御。

刘孝忠等率军奋力抗击。

百姓不管老弱也都出来了，没有命令也自动集合起来，结成军保协助作战。

阿里海牙身中流矢，受重伤，可更加疯狂地督军攻城。

围城日久，城中的箭用完了，李芾令百姓将废箭磨光，配上羽毛，用以再she；盐没了，则将库中盐席焚毁，取灰再熬，分给兵民食用；粮绝，则捕雀捉鼠充饥。

有将士受伤，李芾亲自抚慰，给以医药，每天用忠义勉励他的将士。

死伤的人杂乱众多，人们还是含忍血泪登城殊死战斗。

有来招降的人，李芾把他杀了来宣示他势不投降。

十二月，阿里海牙总结攻不下潭州的原因是士兵在前面，将帅在后面。

他要求改为将帅身先士卒，于是攻城加倍猛烈。

此时宋军已守城三月，大小数十战，虽屡挫元军，但城内兵财匮乏，援兵不至，力已不能支，城池危在旦夕。

农历除夕之日，和李芾一道守城的长沙人尹谷（字务实，被聘为参谋）听到元兵已登城，乃积薪闭户（把柴火堆满屋中，关了门），全家人坐在一起，举火自焚。

邻居来救，只见尹谷正冠端绩危坐于烈焰中，全家老少葬身火海。

李芾闻讯赶到，感叹不已，以酒祭奠，叹道：&ldo;务实真男子也，先我就义矣！

&rdo;