当时，于禁的军队率先到达，梅成诈降于禁。于禁中计，轻率地回军。梅成旋即复叛，带其军众往投陈兰，二人又率众转入灊山自守，占据了地利。
灊山中有天柱山，高峻约有二十馀里，道路险狭，陈兰等众避于其上，山下进军难通。张辽意欲登山进兵，诸将皆说：“此山道路险恶，我军兵少，很难可以深入用兵。”
张辽却说：“此所谓一与一，勇者得前耳（只有勇者可以前进）。”
于是进至山下安营，起兵上山攻击，终于斩下陈兰、梅成首级，尽虏其众。
曹操论诸将功劳，说：“登上天柱山，踏过险峻，成功讨取陈兰、梅成，都是荡寇将军张辽的功劳。”于是增其邑，假节。
建安十八年（213年）与臧霸同为征濡须口的前锋，后攻破孙权江西营，擒获孙权都督公孙阳。
建安十九年（214年）五月孙权亲征皖城，张辽从合肥向皖城驰援，在增援途中得知皖城失守。
于是，张辽在硖石的南面迅速筑起了一座堡垒，作为合肥的前哨；同年七月曹操征伐孙权；同年十月曹操无功而返，自合肥还。
曹操在离开合肥时，带走了大批部队欲作西征之用，给屯驻合肥的张辽与乐进、李典等将领只留下了七千余人。
张辽得知曹操有西征之意，认为合肥即将孤立无援，孙权必会趁机来攻，于是开凿了藏舟浦，用来隐藏舟船。
建安二十年（215年）曹操率领重兵西征张鲁，让护军薛悌送去一封信函，信函边还写明，要在有敌人来攻时再打开来看。
不久，东吴首领孙权率领十万大军进围合肥，张辽与诸将打开信，信中说：“若孙权军来到，张、李将军出战；乐将军守护军，不得与战。”
曹操只在信中明确了3位将领的分工，但是，完全没有提及何时出城、何时撤退、出城人数、攻向哪里、如何接应等具体措施，况且，将在外君命有所不受。
因此，合肥诸将们都充满疑虑。张辽根据曹操远征汉中而合肥缺乏后援的现状，做出了分析，消除了诸将的疑惑。李典也对张辽所说的话表示赞同。
于是，张辽在当夜募集敢于出城迎战的精锐将士八百人，开剥牛支让将士饱食，准备明日大战。
天色刚亮，张辽被甲持戟，亲自先登直陷敌阵，撕裂了东吴军队的防线。在他率军冲入东吴的中军营垒之前，张辽就已经亲自斩杀了数十名东吴士卒和两名东吴将领。
他一边大声呼喊着自己的名号，一边拼杀，冲入东吴的中军营垒。
此后，张辽率军继续猛攻，一直冲杀到孙权的主帅旗之下。孙权见状大惊，孙权身边的众将士也因惊慌失措而不知道该如何应付，于是，孙权等人逃跑到一座较高的山冢上，用长戟来自卫。
张辽见敌方主帅退避，便叱喝孙权，挑衅他下来对战。
但孙权没有轻举妄动，随后孙权发现张辽所率领的士兵非常少，于是聚拢东吴军队将张辽的部队重重包围。
张辽在吴军阵中左冲右突，终于打开包围圈，率领部下们突围。
建安二十一年（216年）曹操再征孙权。到合肥后，曹操循行视察昔日张辽作战的地方，赞叹良久。于是给张辽增兵，多留诸军徙屯居巢。
建安二十二年（217年）曹操攻濡须口，孙权请降，留夏侯惇、曹仁、张辽等屯居巢。
建安二十四年（219年）关羽围曹仁于樊城，适时孙权称藩于魏，为了让孙权安心攻打荆州，于是曹操召张辽及诸军悉数回救曹仁。张辽素来知晓曹操的用意，虽然他收到诏令较晚，但向樊城的进军速度却很快。
而张辽尚未到达，徐晃就已经打败关羽。张辽便与曹操会师摩陂，曹操乘车出来慰劳他，并派他屯于陈郡。
建安二十五年（220年）曹操去世，曹丕即位魏王，张辽从征东将军平级转任为前将军，分封其兄张汛（或作“张泛”）及一子列侯。同时，赐给张辽的帛多达千匹，谷多达万斛。
不久孙权再叛变，张辽还屯合肥，并进爵都乡侯。
曹丕赐舆车予其母以示荣宠，并派兵马送其家人到他驻军的地方，又预先在当地告示张辽家人将要到临。
命令所有守军出迎，众军士将吏都列队出候拜迎张辽家人，看见此景的人均认为这是十分荣耀的事；同年曹丕称帝，再封张辽为晋阳侯，增邑千户，并前二千六百户。
黄初二年（221年）张辽到洛阳皇宫朝拜，曹丕便引张辽会晤于建始殿，亲问其昔日破吴时的情状。
张辽述说过后，曹丕向左右叹息道：“简直是古代的召虎啊。（召虎，即召穆公，是与方叔、尹吉甫、秦仲等齐名的西周大将。他因在周宣王时期，平定淮夷，所以被曹丕借作比喻。）”
于是，曹丕下令为张辽建造屋舍，替其母兴建殿室，当年跟从张辽突破吴军阵线、直冲孙权帅旗而临时应募的一众步卒，都被封虎贲。
黄初三年（222年）孙权再次向曹魏称臣。张辽奉命还屯雍丘，却在此得病。
曹丕遣侍中刘晔带著太医审视其疾，并令虎贲卫士们往来传达张辽病况，为张辽问病的使者经常在路上互相遇见。
张辽之疾久未痊愈，曹丕命人把他接到自己的行营，自己则车驾亲临，握着他的手，赐给他御衣，太官每天来送御膳。
病情稍有好转后，张辽便返回其屯军之所驻军，忠于职守。
正当其时，孙权再次背叛曹魏，曹丕派张辽乘舟，与曹休到海陵临江驻防。
孙权知张辽至此，甚为忌惮，敕令诸将道：“张辽虽然抱病，但仍是勇不可当的，千万要谨慎在意！”
同年，张辽与王凌等人进军至广陵。一天夜里，吕范等人的东吴水军漂至北岸。
张辽与王凌等人出战，大破吴将吕范等人，并缴获了大量舟船。
但张辽的病情却也日渐严重，最后终于在江都逝世，一代名将就此陨落。曹丕为之流涕，谥曰刚侯。其子张虎嗣任其爵。
黄初六年（225年）曹丕追念张辽、李典在合肥之功，诏曰：“合肥一役中，张辽、李典仅以步卒八百人，破贼十万之众，自古用兵，未见如此。他们使贼众至今仍气为之所夺，真可谓国之爪牙。现分封张辽、李典的家族各增邑百户，对他们两人各自的一个儿子赐爵为关内侯。”
正始四年（243年）张辽得享从祀于曹操庙庭。
历任官职：郡吏，骑都尉，北地太守，鲁相，中郎将，裨将军，行中坚将军，荡寇将军，征东将军，前将军。