他初到襄阳，见荆襄连年战事百姓流离失所，便利用边境暂时的稳定，对东吴军民实行怀柔政策，减免赋税发展生产，与吴国实行“边境交和”，互通绢谷。在边害减轻，戍守巡逻士兵大减的情况下，抽调4万人，垦田800多顷。使襄阳“军无百日粮”的状况彻底改变，10年之后，荆州8万士兵已经积有10年余粮。为西晋伐吴奠定了雄厚的物资基础。东吴军民感其仁政，纷纷归附。有部下从边境带回两个小孩，经问是东吴边将之子，羊就立即派人送回，其父十分感激，第二天就率部归降。吴将邓香侵犯夏口，被活捉，羊祜以礼相待，教育一番后，又放回东吴，邓香感其恩，也前来归顺。羊祜率众游猎，每遇到吴国将士射伤的野兽被手下捕获，总是命人送还。因此，羊祜在东吴将士中德声大振，就连与其对峙的吴国主帅陆抗也为之悦服。咸宁元年，羊祜积劳成疾于世长辞，当地军民闻讯无不悲痛欲绝，就连东吴将士也为之泪下。二年后东吴平定，武帝在庆功宴上流着泪说："此羊太傅之功也。"他文为辞宗，行为世表，著有《老子传》；更兼为官清正廉洁，大公无私，俸禄统统周济族人，赏赐士兵，家中没有余财。孔明死时，南蛮戴孝；羊公死时，郡城之中无人不为之垂泪。老百姓出自对其敬爱，竟主动为其避讳——居室都称“门”不称“户”，又改“户曹”为“辞曹”，以表达对他的崇敬之情。 只是羊祜忠于司马氏的政治立场，使其不如诸葛亮那般受后世统治者们的欢迎，而被大加炒作。