杨绾，出身弘农杨氏原武房，幼年时便以聪慧闻名，等到长大后，好学不倦，博通经史，九流七略，一览无遗，尤其擅长文辞，词藻结构清新韵足。崇尚玄理，沉静寡欲，经常独处一室，左右摆满经书，凝视满席书籍，非常宁静，内心明晰而运用隐晦，不求声名，每次写文章，羞愧于自白，不是知己的人不可看见。早年孤苦贫寒，以孝敬母亲而闻名，有时缺乏美味食物，脸上即显出忧虑，亲友劝说他去谋求俸禄，杨绾于是考取进士，被调补为太子正字。
唐玄宗御驾勤政楼，考取博通坟典、洞晓玄经、辞藻宏丽、军谋出众等科的举人，命有关部门提供食物，直至黄昏时才结束考试。除考取辞藻宏丽科的人之外，其余各科另外加考诗赋各一首，制举考核诗赋，自此开始。此次登科的有三人，杨绾名列第一，被越级擢升为右拾遗。
范阳、河东、卢龙三镇节度使安禄山，以诛宰相杨国忠为名，起兵反唐，安禄山一路南下，攻克东都洛阳，直逼京师长安。玄宗与太子李亨等出逃，李亨在灵武即位，即为唐肃宗。杨绾在叛军中冒着危险，“披榛求食”，奔赴行在灵武。此时，朝廷正急于求贤，等到杨绾赶到，大家都感到很高兴，肃宗下诏授他为起居舍人、知制诰，历任司勋员外郎、职方郎中，依旧掌制诰，后转任中书舍人，兼修国史。
此前，对年龄大的舍人称为“阁老”，官署中的杂料钱，有五分之四归于“阁老”，杨绾认为他们品秩同列，待遇同等，全都应平均分配，此举深受当时舆论称赞。经两次升迁，杨绾任礼部侍郎，向唐代宗分条目上奏贡举的弊端，代宗令尚书左右丞、各司侍郎、御史大夫、御史中丞、给事中、中书舍人共同商议此奏文。给事中李讷、给事中李栖筠、尚书左丞贾至及京兆尹兼御史大夫严武所奏议的内容均与杨绾相同。
宰臣们上奏说明举人旧业年月已久，很难速改，如今的举试还望能同意进行，来年再奉诏停止，仍然诏令礼部立即分条目上奏，代宗拿废止进士科的问题向翰林学士询问意见，学士对答说：“进士制度由来已久，立即废除，恐怕会失去士子所习的举业。”于是，诏令孝廉与旧举试同时进行。杨绾又上奏议论岁贡中的孝悌、力田以及童子科等考试，其中孝悌、力田应该具有实际意义，童子越来越多，不在常科，都与岁贡同时进行，担心会助长人们的侥幸投机之风。代宗诏令停止童子科考试。之后，杨绾被改授为吏部侍郎，在任内，他根据法则推举选用，精于鉴别、考察人物，以处事公允受到朝野称赞。
代宗在位时，宰相元载执掌大权，公卿大多依附他，只有杨绾孤立中道，清贞自守，未曾私下拜谒元载。元载认为杨绾平时声望很高，在外表示对他尊重，内心实际却对他疏远、忌恨。权宦鱼朝恩死后，元载认为鱼朝恩曾经兼领国子监事务，是玷污了太学，应该用名儒主理国子监，以澄清此职，于是上奏提拔杨绾为国子祭酒，实际上是想将他置于闲散职位上。
后来，元载贪财冒犯的行为愈加严重，天下人都对杨绾评论称赞，代宗非常清楚这些，考虑到元载在枢衡任职已久，没有马上将其罢免，仍将杨绾升为太常卿、礼仪使，借助他来振兴废弃已久的郊庙之礼，也借此机会观察其办事成效。代宗定计逮捕元载，将其诛杀，任命杨绾为中书侍郎、同中书门下平章事、集贤殿崇文馆大学士，兼修国史。杨绾多次表示恳请让位，代宗坚决不许，他于是不敢再辞。
杨绾，德高望重，且质朴忠贞、车服俭朴，素以品德举止着称，任命他为相的诏令公布后，朝野之人相互祝贺，朝中权贵移风易俗的例子有许多：御史中丞崔宽是剑南西川节度使崔宁的弟弟，家境富有，在长安之南建有别墅，其中的池馆台榭，在当时被称为第一，崔宽得知杨绾拜相后，在当天就暗中派人将其拆毁；中书令郭子仪驻守邠州，他正在宴请宾客时听说杨绾为相，便将在座助兴的声乐队减去五分之四；京兆尹黎干受代宗宠信，每次出入车马有一百多辆，但也在杨绾拜相当日减少车马，只留十匹而已。除此之外，其余闻风而动、将奢变俭的人不可胜数。
杨绾又与常衮向代宗举荐被贬的湖州刺史颜真卿，代宗当即颜真卿入京担任刑部尚书，二人还向代宗举荐淮南判官关播，使其被召为都官员外郎。杨绾在相位不到数月，便为人心所归，拜相不久后便中风，代宗优诏令他在中书省休养，代宗每次在延英殿引见杨绾时，都特许由人扶入。代宗内心看重杨绾，一心任用他，对他非常礼遇宠爱。
当时改革朝政的弊病，全都由杨绾决断，他多次上奏请求辞位，代宗多次下诏回绝，等到杨绾病重时，代宗每天派遣宦官前往询问病情，并命御医在其身旁时刻守候，每次听说他的病有起色，代宗便喜形于色。
杨绾病逝，享年六十岁，前来探望的宦官急驰回宫奏报，代宗闻讯后，惊愕悲悼许久，为他辍朝三日，并下诏追赠杨绾司徒。代宗又命文武百官前往杨绾的宅第，与朝廷特派的内常侍吴承倩会同吊唁他，并赐其家绢千匹、布八百端。代宗对杨绾的猝逝非常惋惜，对朝臣们说：“上天不让朕致力于太平，为什么将朕的杨绾夺走这样快。装殓之时，朕与众卿悲痛哀悼之情正同啊。”宰相死后受到如此恩遇，长久以来少有人能与杨绾相比。
太常最初为杨绾拟定的谥号为“文贞”，但宰相常衮平素便忌恨杨绾得到代宗宠任，至此时更唆使比部郎中苏端上疏大肆诋毁杨绾，代宗发怒，将苏端贬为广州员外司马，仍谥杨绾为“文简”，下葬长安少陵南岗。