抗日战争爆发后，中共中央一直在延安指挥各敌后根据地的抗战，八路军总部则挺进山西东南部太行山区，就近指挥华北地区的八路军。

进入1941年，日军为加强所谓“北支那治安战”，又从华中抽调2个师团到华北，使北支那方面军的兵力达到11个师团又12个独立混成旅团约30万人。

1942年5月中旬开始，山西的日军又纠集2.5万人对山西东南的太行山区进行扫荡，企图一举消灭中共北方局、八路军总部机关北方局机关及129师主力。行动前，日军还挑选了200多精悍官兵组成“挺进队”，化装成八路军深入根据地内部，所到之处也帮助老百姓扫院子挑水，一时还躲过了根据地军民的盘查。他们发现八路军首脑机关后，立即呼叫空中突袭和地面部队合围。此时八路军总部由彭德怀副总司令和前方参谋长左权负责领导，因事先对情报掌握不准，跟随总部的又有1万人，其中有几千人的庞大机关包括医院、学院等没有战斗经验、没有武器的人员，只有两个团战斗部队，要掩护这样庞大的机关转移就出现困难。

5月24日，有1.5万日军接近八路军总部附近，四面压缩进行铁壁合围，被围人员大多是八路军总部和北方局机关及大量后勤人员，两个团3000余人的战斗部队与日军奋战，终于冲出一个缺口。

5月25日上午，日军在地面火炮和6架飞机的掩护下，向突围的部队和机关发起猛烈攻击，769团1营在李德生营长率领下，与总部特务团一部与敌展开激战，打垮敌人多次进攻，掩护了八路军总部和北方局机关及时突围左权则负责殿后指挥。当最后一批人员正翻过十字岭时，面对日军轰炸和炮击，一些学生、护校人员因缺乏战斗经验出现乱跑现象，已经过山的左权参谋长又赶回来招呼大家不要慌，并组织这些人有秩序地迅速跑步离开。

此时突然有日军的炮弹飞来，左权头部中弹片而壮烈牺牲，年仅37岁。左权在前方总部参谋长的岗位上牺牲，成为八路军在抗战时阵亡的职务最高的领导干部。不过由于他的高度责任心，安排下属部队机关冲出了日军包围。这次“扫荡”历时38天，日军付出死伤3000余人的代价，并没有达到消灭八路军总部和中共北方局的目的，被迫于8月下旬从太行山南部地区撤退。这次八路军总部遭日军合击后，总结教训时指出了总部和北方局各个机关显得太臃肿，搞得太庞大，已不适应敌后残酷的斗争。

于是，随后前线的机关实施了精兵简政，一些主力部队实行地方化，变成县大队、区中队，有还不穿军装穿便衣。从当时敌我力量特别是武器装备相差悬殊的情况看，分散的游击战是最正确的选择，通过化整为零，有分有合，起了保存自己和有效打击敌人的目的，日军进行大“扫荡”就感到如同“蛮牛捕鼠”，很难找到大的目标，自己却在持久的游击袭扰下被逐渐削弱，最终走向失败。