抗日战争爆发后，彭绍辉先是任八路军120师教导团团长，后来又担任了358旅旅长。

358旅的任务十分艰巨，除与日寇作战外，还担负着护送由延安向敌后根据地输送人员、物资和弹药的经常性任务。

1939年3月，日军对晋西北根据地发动大规模的&ldo;扫荡&rdo;，企图寻找八路军领导机关，消灭八路军主力。

在这紧急情况下，358旅奉命护送由&ldo;抗大&rdo;、&ldo;陕公&rdo;、&ldo;鲁艺&rdo;等单位7000多名男女干部学员组成的&ldo;第5纵队&rdo;，越过同蒲铁路东迁敌后。

同蒲铁路是交通干线，日军控制得很严，早已对铁路两侧的村庄实行清剿政策，致使沿途百余里几乎成了无人区。

&ldo;第5纵队&rdo;又都是非战斗人员，要安全顺利通过是十分困难的。

彭绍辉非常重视这次护送任务，接任务后，召开诸葛亮会，组织熟悉封锁线两侧敌情、地形、民情的人仔细研究护送的路线。

彭绍辉还派出少量兵力到北线踩路、找向导，并且严密封锁信息，制造假象，将敌人的注意力吸5！

到北线，然后从南线护送东迁。

彭绍辉确定护送方案：把&ldo;第5纵队&rdo;分成3个梯队，并亲自率领1个团进行掩护。

彭绍辉利用夜暗行动，三次往返于敌人据点林立、铁甲车昼夜巡逻的同蒲路，把干部学员送了过去。

在剩下最后一批人员时，彭绍辉更加小心，又一次研究方案，确定路线，最终全部胜利地完成了护送三个单位学员干部的东迁任务。

入冬以后，358旅奉命向晋察冀护送一批弹药。

时值寒冬，晋西北高原北风呼啸，大雪铺天盖地。

全体指战员们不仅要随时准备对付敌人的铁甲巡逻车，而且还要与严寒、饥饿作斗争。

经过努力，最终圆满地完成了任务。

国民党顽固派发动第一次反共高潮时，阎锡山一面派人到临汾与日军进行试探性谈判，一面调动6个师的兵力，向晋西北。

晋西南根据地发动进攻。

人路军120师主力正在冀中平原作战，根据地内部兵力极为缺乏。

这时的358旅既要坚持对日作战，又要同顽固派的反共投降活动进行有理、有利、有节的斗争，还要担负护送人员、物资、弹药往返于延安和各根据地的任务，担子沉重，可想而知。

彭绍辉面对如此巨大的任务，镇定自若，从容地指挥部队，先在太原以北耀子村歼灭日军两个中队，接着率领晋西北的358旅及抗日决死队，按照&ldo;坚持自卫、坚持胜利、坚持休战&rdo;的原则，和&ldo;发展进步势力，争取中间势力，孤立顽固势力&rdo;的方针，与顽固派展开坚决的斗争，直到贺龙率120师主力回师晋西北。

逐出顽固势力。

此时的晋绥根据地，不但形势险恶，生活也极为艰苦，无论军队还是地方，吃穿都成了问题，到了&ldo;夏缺单衣冬缺棉，踏脚跑步来御寒，二两黑豆四两糠，土豆南瓜苦菜汤，数月不见油和盐，想吃小米难上难&rdo;的地步。

面对现实，彭绍辉更多想到的是党中央。

只要搞到一点粮食和钱，就送往120师师部再转往延安。

指战员编了一段顺口溜称赞彭绍辉：&ldo;一把手&rdo;的党性强，革命全局胸中装，教育部队紧肚肠，有粮首先送中央。

在抗日战争时期，彭绍辉有较长一段时间还担任了抗大分校校长的工作。