房玄龄，出生于官宦之家，曾祖房翼，北魏镇远将军、宋安郡守，袭壮武伯；祖父房熊，释褐州主簿；父亲房彦谦，好学，通涉《五经》，富有辩才，是魏、齐间的山东学者。自幼耳濡目染，颇承其父遗风，自幼聪慧，善诗能文，博览经史，精通儒家经书，又向父亲学得一手好书法，工草隶，十八岁时，齐州举进士，先后授羽骑尉、隰城县尉。

隋朝末年，天下大乱，唐国公晋阳留守李渊率兵入关，房玄龄于渭北投靠李世民，屡从秦王出征，参谋划策，典管书记，任秦王府记室参军。为报李世民知遇之恩，竭尽心力筹谋军政事务，每攻灭一方割据势力，军中诸人都全力搜求珍宝异物，只有房玄龄首先收拢人才，将富有谋略和骁勇善战的人安置在他的幕府中，私下与他们结为朋友，共同为李世民效力。

击破王世充后，认为张亮“倜傥有智谋”，遂推荐给李世民，任秦王府车骑将军，委以心膂”。其他，诸如才思敏捷的薛收，有“王陵、周勃节，可倚大事”的李大亮，“聪明识达，王佐之才”的杜如晦等，都是经房玄龄举荐以后，得到李世民重用的，后都位至卿相。

房玄龄在李世民秦王府中十多年，一直掌管军谋大事，负责管理文牍，每逢军书奏章，停马立成，文字简约，义理丰厚。李渊对房玄龄深加叹赏，对侍臣讲：“这个人深重地了解机宜，足能委以重任，每当替秦王陈说事务，一定能了解人性心理，千里之外，好像对面说话一样。”后来，隐太子李建成斥逐秦王府官属，房玄龄与杜如晦一并被驱斥于外任。

参与玄武门之变的策划，帮助李世民谋得帝王之位，李世民称赞他有“筹谋帷幄，定社稷之功”。李世民论功行赏，以房玄龄、长孙无忌、杜如晦、尉迟敬德、侯君集五人功为一等，房玄龄因功进爵为邢国公。房玄龄追随李世民平定天下，出入生死，备尝创国立业之艰辛，他时刻不忘创业之难，警钟长鸣，力戒骄奢淫逸，以维持国家的长治久安。

房玄龄重视吏治，认为吏治问题是求治的根本，而官吏的公平正直又是治国之要道。在选举官吏的问题上，李世民主张“量才授职，务省官员”，“现在应当审查官吏，让他们都能够发挥各自的作用，那么国家就可以无为而治了。”房玄龄忠实地贯彻了他这一思想，大力简政，并省官吏，“于是所配置的文武官员总六百四十员”。精减官吏的做法，对经隋末大乱、人口锐减的唐初来说，既裁去冗官滥职，避免十羊九牧，提高朝廷各部门办事效率，同时也节省国家财政开支，减轻人民负担。

房玄龄精通典制政令，时值天下初定，朝章国典还很不完备，他与尚书右仆射杜如晦共掌朝政，亭台楼阁等建筑物的规模以及法令、礼乐、制度以及历代遗留下来的有价值的东西，都是他们二人所制定，在当时获得美誉。

在修定律令方面，房房玄龄秉持“审查并确定法律和命令，将宽厚平和做为宗旨”的思想，简化律令，又除去了隋朝的苛酷刑法。自房房玄龄等更定律、令、格、式以后有唐一代都没有发生过多大变动。

房玄龄改封魏国公，为尚书左仆射，监修国史，房玄龄尽心竭诚，早起晚睡，加之他明达吏事，法令宽平，任人惟贤，不分卑贱，人们都称他为良相。房玄龄护高祖山陵制度，以功加封开府仪同三司，封梁国公，加太子少师，留守京师。任宰相十五年，女为韩王妃，儿子房遗爱娶高阳公主，显贵至极，但常常深自卑损，不敢炫人傲物。

房玄龄病重，李世民派名医为其医治，每日供给御膳，并亲临探望。临终之时，房玄龄对诸子说：“当今天下清平，只是陛下东讨高丽不止，正为国患。主上含怒意决，臣下莫敢犯颜。我知而不言，就会含恨而死啊。”于是，抗表进谏，请求李世民以天下苍生为重，停止征讨高丽，李世民看见奏表，感动地对房玄龄儿媳高阳公主说：“此人病危将死，还能忧我国家，真是太难得了。”临终之际，李世民亲至其病床前握手诀别，立授其子房遗爱为右卫中郎将，房遗则为中散大夫，使其在生时能看见二子显贵。

房玄龄与世长辞，终年七十岁，李世民为之废朝三日，追赠太尉，谥号“文昭”，陪葬昭陵，与初唐其他二十三位开国功臣一起画像并供奉于“凌烟阁”，后配享太宗庙廷。

房玄龄次子房遗爱与其妻高阳公主被指谋反，房遗爱被处死，公主赐自尽，诸子被发配流放到岭表，房玄龄嗣子房遗直也被连累，被贬为铜陵尉，房玄龄配享太庙的待遇也因而被停止。