不久后，就抓获了制造混乱的人，张辽将他杀死。

建安十四年（209年）十二月，袁术残部陈兰、梅成煽动氐六县（今安徽六安）的民众叛变，曹操派于禁、臧霸等领兵征讨梅成，命张辽督率张合、牛盖等人征讨陈兰。梅

成假装投降于禁，等于禁撤军后，梅成就跑去陈兰会兵，一起遁入灊山（今安徽潜山西北）。

灊山有一座天柱山，高二十里，山势险峻，道路狭窄艰险，宽度仅容一人通过，陈兰等人在上面筑起营垒据守。

张辽打算进军，众将以路途险阻为由劝他，张辽则表示谁勇敢谁就能抢占先机。

随后张辽前往山下安营，之后率军攻击，斩杀陈兰、梅成二人，尽数俘虏他们的部众。

曹操嘉奖张辽在此战中的功劳，增加了他的食邑，并授予他假节。

建安十九年（213年）五月，孙权率军攻击皖城（今安徽庐江），张辽从合肥（今安徽合肥）率军驰援，到硖石听闻城池被攻破，便在硖石以南修筑堡垒，称之为南硖戍。

建安二十年（215年）曹操征讨孙权返回后，张辽同乐进、李典等人率七千多士兵驻扎在合肥。

之后曹操征讨汉中张鲁的时候，留下一封信给护军薛悌，并写上“贼至乃发”四个字。

同年八月，孙权率领十余万军队围攻合肥，众人打开信件，曹操在信中命令，张辽、李典出击迎战孙权，乐进守城，薛悌不得参战。

众人都感到疑惑，张辽向众人表示，曹操的意思是趁敌人立足未稳的时候，出击挫败他的气势，稳定军心，这样才能更好防守。

随后张辽连夜募集敢死之士，前后召到800人，张辽杀牛犒劳士兵，并打算明天出战。

天刚亮，张辽就率先攻入敌阵，斩杀两名将领，十余名士兵，此后又大声呼喊自己的姓名，冲入孙权的营垒当中，一直到孙权的帅旗下。

孙权及其部下向高处撤退，后见张辽所带士兵较少又将其包围，张辽两度突出重围，战斗从早上直至中午，吴军士气丧失殆尽，退守修筑防御工事。

合肥城内见吴军退走心才安定了下来，众将都十分佩服张辽。

此后孙权又围攻合肥十多天，眼见不能攻破，便率领军队返回。

当时孙权身处逍遥津北，张辽率领军队奇袭，吴军将领甘宁、吕蒙、凌统迎战。

见孙权已经逃走，张辽也就率领军队返回。曹操钦佩张辽的勇武，授予他征东将军的职务。