虞世南生性沉静寡欲,执着且向学。历仕陈、隋二代,官拜秘书郎、起居舍人。隋朝灭亡后,被窦建德任命为黄门侍郎。
李世民灭窦建德后,引虞世南为秦王府参军、记室参军、弘文馆学士,与房玄龄等共掌文翰,为"十八学士"之一。贞观年间,历任著作郎、秘书少监、秘书监等职,先后封永兴县子、永兴县公,故世称"虞永兴、虞秘监"。他虽容貌怯懦、弱不胜衣,但性情刚烈,直言敢谏,深得李世民敬重,被称为"德行、忠直、博学、文词、书翰"五绝。贞观十二年(638年),虞世南去世,年八十一。获赠礼部尚书,谥号"文懿" ,配葬昭陵。贞观十七年(643年),绘像凌烟阁。
虞世南善书法,与欧阳询、褚遂良、薛稷合称"初唐四大家"。日本学界称欧阳询、褚遂良、虞世南为"初唐三大家"。其所编的《北堂书钞》被誉为唐代四大类书之一,是中国现存最早的类书之一。原有诗文集三十卷,但已散失不全。民国张寿镛辑成《虞秘监集》 四卷。