凤凰元年，孙皓更加肆意，穷兵黩武，以致上下皆怨。孙皓出行，常带铁骑五万，群臣俱恐。丞相万彧、将军留平、大司农楼玄，皆因直言进谏而被杀害，前后十余年，杀忠臣四十余人。
羊祜见孙皓失德，上下离心，伐吴天时已现，乃上表洛阳。其表略曰：“夫，运数虽天所授，然功业必因人而成。今江淮之险不如剑阁，孙皓之非过于刘禅，吴人之困甚于巴蜀，大晋国力强于往时。若不于此际荡平江南，再陈兵相持，使四海不一，天下不宁，诚否天意也。”司马炎见表，即欲兴师。贾充、荀勖、冯紞三人谏曰：“孙皓虽失德，士民虽有怨，然其国中未生变，一旦我大兵南下，其必一致相拒，反使其上下同心。倘久战不克，我兵必钝，若无功而返，再图江南，则无望矣。不如暂按甲兵，待吴自乱，那时我不费吹灰之力，马到即平，岂不美哉？”晋帝闻言，乃罢伐吴之意。羊祜闻之叹曰：“世上不如意事，十常八九，今天予不取，大可惜哉。”
咸宁四年，羊祜入朝，奏请归乡养病。司马炎曰：“卿将去，有何安邦良策，以教寡人？”羊祜曰：“孙皓暴虐已甚，今可一战而克，若皓忽殁，更立贤主，则江南半壁，非陛下所能图也。天时既与，即当取之，否则，一旦天机错失，悔之莫及。”帝惊曰：“卿今提兵伐吴如何？”羊祜曰：“臣年老多病，不堪此任，陛下另选智勇之士可也。”遂辞晋帝归乡。羊祜多年以来，所得俸禄，或赏赐军士，或赡给九族，家中清贫，并无余财。晋帝闻之，甚是感叹。
是年冬月，羊祜病重，晋帝亲临南城县问安。羊祜泪下曰：“我主大恩，臣万死不能报矣！”司马炎溅泪曰：“朕，深悔未用卿伐吴之策，今谁可续卿，独当荆州一面？”羊祜曰：“臣将辞世，思进余忠，已修下荐表，今闻御驾亲莅，又令人焚之。右将军杜预，可当此大任。”晋帝曰：“举善荐贤，自古美事，卿何故荐人于朝，又自焚荐表，不使人知耶？”羊祜曰：“拜官公庭，谢恩私门，臣所不取。”言毕而亡。
司马炎大哭回京，素服三日，敕命追封羊祜为太傅、巨平侯。羊祜享年五十八岁，南城百姓，罢市举哀。江南守边将士，闻皆遥祭。襄阳人，因羊祜昔日常游岘山，乃于此山建庙立碑，四时祭祀。往来之人见碑文，无不泪下，世人名之曰“堕泪碑”。
后，唐人胡曾有诗曰：晓日登临感晋臣，古碑零落岘山春，松间清露频频滴，恰似当年堕泪人。
晋帝听羊祜之荐，拜杜预为镇南大将军，都督荆州事。杜预，老成练达，好学不倦，坐卧常手持《左传》，时人称为‘左传癖’。自受诏命，于襄阳抚民养兵，准备伐吴。
吴国丁奉、陆抗皆故，吴主孙皓更无忌惮。每宴群臣，皆使大醉，又令黄门郎十人，各奏众官醉言过失，或剥其面，或挖其目，致使国人大恨。
益州刺史王浚，上疏伐吴。疏略曰：“孙皓荒淫凶逆，吴楚离心，贤愚俱怨，伐吴天时已至，若一旦皓死，更立明君，则难图矣。臣造舟七年，日渐腐朽，世事无常，愿陛下勿失天予之机。”晋帝览疏，谓朝臣曰：“王浚之论，与羊祜不谋而合，朕决意伐吴。”侍中王浑奏曰：“臣闻，孙皓欲北征，军伍已备，声势正盛，不如暂缓一年，待其兵疲，乘势伐之。”司马炎遂降诏，按兵不动。
一日，司马炎与秘书丞张华，围棋消遣，忽杜预表至。表略曰：“凡事，以利害相较。度今伐吴，利可一统天下，害不过无功。自秋以来，我伐吴之势颇露，孙皓已恐，今我按兵，倘孙皓完修诸城，远迁其民，则城不可攻，野无所掠，明年之计徒然也。”司马炎览表，左右难决。张华起身奏曰：“陛下圣武，国富民强，孙皓暴虐，民怨国敝，今若伐之，一战可平，陛下勿忧。”司马炎喜曰：“卿言洞然，朕无疑也。”即升殿，大下诏命：镇南大将军杜预出江陵，平南将军胡奋出夏口，建威将军王戎出武昌，安东将军王浑出横江，镇东大将军、琅琊王司马伷出涂中，龙骧将军王浚、广武将军唐彬浮江东下；贾充为大都督，假节钺统领六路大军；冠军将军杨济为副都督，出屯襄阳。咸宁五年十一月，大举伐吴。
消息报入建业，孙皓大惊，急召丞相张悌、司徒何植、司空滕循商议。张悌奏曰：“诸路中惟荆楚杜预势大，可令车骑将军伍延为都督总镇江陵，其余各路，沿江守军可凭险拒之，臣再领左将军沈莹，右将军诸葛靓，屯兵牛渚矶以防不测。”孙皓遂下诏，调兵遣将。
诸事毕，入后宫，孙皓面带忧色。宠臣岑昏问其故。孙皓曰：“晋兵大举进犯，各路虽已有兵马迎拒，然王浚率兵数万，楼船如城，顺江而下，其势甚锐，朕颇忧心。”岑昏曰：“臣有一计，可使彼船皆为齑粉。”孙皓大喜，忙问其计。岑昏曰：“江南多铁，可打造连环索百条，长百丈，每环重二三十斤，于江峡流急处，横江拦截。再造大铁锥数千，长丈余，置于水中，晋船顺水而来，逢索遇锥，必然粉碎！”孙皓大喜，即令于江边连夜打造铁索铁锥，设置江中。
镇南大将军杜预，引雄兵南下，一路如秋风横扫，诸县皆降。是日，兵近江陵，杜预先令牙将周旨，引兵八百，乘小舟夜渡江南，偷袭乐乡，于山林多竖旌旗，以为疑兵。周旨领命，引兵而去。次日，杜预提兵正进，东吴都督伍延先锋孙歆，迎面而至。两军交锋，杜预引兵退走，孙歆迤逦追赶十余里，忽听一声炮响，伏兵杀出，孙歆大败，十折八九。杜预催兵紧追。孙歆回江陵不及，仓惶逃过大江。周旨趁乱杂在吴兵中。时至天晚，孙歆引败军正行，忽火光大起，喊声震山。孙歆大惊曰：“晋兵何时渡江耶？”慌忙拨马而走，昏暗中周旨大喝一声，斩孙歆于马下。
江陵水军都督陆景，正坐水寨，忽见四处火起。陆景方登岸，火光中晋将张尚马到，大刀横空而过，陆景人头落地。都督伍延闻听水陆俱败，惶惶然弃城而走，不料，被伏路军兵拿住，绑见杜预。杜预曰：“留之何用？”遂斩之。江陵军民，开城而降。于是，沅湘一带直至交州，诸郡县望风归顺。杜预令人，持节安抚，秋毫无犯，遂定荆州。