魏征字玄成，巨鹿曲城人。父亲魏长贤，任北齐屯留县令。魏征幼年丧父，家境贫寒，穷困失意却有远大志向，不从事谋生的职业，出家当了道士。他喜爱读书，能融会贯通，见天下越来越乱，特别留意先秦纵横家的学说。
大业末年，武阳郡郡丞元宝藏起兵响应李密，召请魏征掌管文书。李密每次见到元宝藏送来的文书，总称赞写得好，后来听说是魏征写的，就立即派人把他召来。魏征进献十条计策给李密，李密虽感到新奇但未能采用。到了王世充在洛口进攻李密时，魏征对李密的长史郑廷页说：“魏公李密虽然屡次获胜，但精兵骁将死伤的也很多了；军费又紧张，对有功的不能论功行赏，志气不高，有这两条就难得与敌人硬拼。不如挖深沟筑高垒，与敌人拖延时间，过不了十天半月，敌人粮尽草绝，不用攻打，他们就会撤兵，那时我们再出兵追击敌人，这就是取胜的方法。况且东都的粮食断绝了，王世充已经无计可施，一心想决一死战，我们实在难与陷入绝境的敌寇争锋，请慎重考虑不要与他们决战。”郑廷页说：“这些话不过是老生常谈罢了！”魏征说“：这是出奇制胜的良策，怎么说是老生常谈？”因此拂衣而去。
李密失败后，魏征跟随李密归降唐王，到了京师，很长时间都默默无闻，他自己请求去安抚山东，于是授命为秘书丞，驱驾驿车赶到黎阳。那时，徐世责力还是李密的部将，魏征给徐世责力写信说：
“自从隋末政局混乱，群雄竞相追逐，跨州连郡，不可胜数。魏公李密起兵叛隋，振臂大呼，四方响应如万里风驰，似云合雾聚，一下子就聚集了几十万人。声威遍及近半个天下，在洛口破王世充，在黎山摧毁宇文化及。正准备向西占领咸阳，往北进攻玄阙，让自己的旌旗飘扬在瀚海，让自己的战马到渭川饮水，不料有百胜之威反而败在奔逃的敌军之手。由此可见，天下的归属已成定局，不能以力抗争，因此魏公感念皇天才回头反省，进入函谷关而没有疑虑。您生于混乱之时，感念知己之遇，在根已拔掉的情况下，还坚持不动摇，纠集溃散的兵马，据守在一方。王世充趁着战胜的余勇，在他东边的地域休养生息，窦建德处在失败受辱的形势，不敢对南方有所图谋。你的美好的名声，足可以振动古今。然而谁没有好的开始，可结局却难以预料。把握去留进退的时机，是安危的关键。假如做官得到封地，九族就会受到余辉的庇护，如果投靠的人不得当，自己一身还不能自保。殷灭夏的鉴戒不远，是你能够看到听到的。古代勇士孟贲迟疑不决，童子都能在他之先做出决断，智慧接近神明，不整天等待。现在您处在兵家必争之地，应当速急乘机谋划，如果遇事迟疑不决，坐观成败，恐怕凶险狡诈之辈，先生出异心，那么您的大事就无法挽回了。”
世责力得到书信，于是决定派使者到长安表示归顺唐朝，并开仓运粮，送给淮安王神通的军队。
不久，窦建德率军南下，攻陷黎阳，俘获了魏征，任命他为起居舍人。后来窦建德被李世民擒获，魏征与裴矩西行入潼关。隐太子建成早已听说魏征的名气，把他召为洗马，非常恭敬他。魏征见太宗屡建功勋，威望越来越高，常常劝建成早定对策。太子建成失败后，太宗派人召见魏征，对魏征说：“你离间我兄弟关系，这是为什么？”魏征说：“太子如果听从了我的意见，一定不会遭到今天的杀身之祸。”太宗平素就器重魏征的敢于直言，于是任命他为詹事主簿。太宗即位后，提升魏征为谏议大夫，封巨鹿县男，派他安抚河北，授予他遇事可酌情处理的权力。魏征到了磁州，遇到前东宫千牛李志安、齐王护军李思行锁在囚车中押解京师。魏征对副使李桐客说“：我们动身时刚得到皇上的诏命，前东宫、齐王府的旧人都一律赦免不问。现在又把李思行等押送京师，这样做其他的人谁还再相信皇上的诏令而不疑虑呢？朝廷派我们安抚山东，人们一定不会相信，这岂不是差之毫厘、失之千里，况且有关国家利益，明白了没有不去做的，宁可自己承担责任，也不能损害国家大计。现在如果释放李思行他们，不再追究他们的罪责，那么信义的感召就会远达天下。古时大夫出使，只要是对国家有利，就可以自己做主。况且我们这次出使，皇上给予我们灵活行事的权力。皇上既然对我们以国士相待，我们怎能不以国士相报呢？”副使同意，立即释放了李思行等人，并上书呈报皇上，太宗非常高兴。
太宗刚即位，励精图治，多次把魏征召到卧室里，单独询问治国施政的得失。魏征很有治理国家的才干，性情又耿直，从不退缩屈服，太宗与他谈论，总是欣然接受他的意见。魏征也为遇到赏识自己的君主而喜不自胜，于是把心里的想法全部说出来，毫不隐瞒。太宗曾经慰劳魏征说“：您所陈述进谏的事，前后有二百多项，不是您至诚报效国家，怎么能够这样？”那年，太宗又升任他为尚书左丞。有人诽谤魏征包庇自己的亲戚，太宗派御史大夫温彦博去查办，结果查无实据，温彦博向太宗奏道：“魏征作为一个臣子，应该使自己的行为显明，他不能远避嫌疑，以致遭受这些没有根据的诽谤。虽然没有私情，也应当受到责备。”太宗叫温彦博去责备魏征，并说：“从今以后，行为不得不存痕迹。”第二天，魏征入朝上奏太宗说：“我听说君臣一心，如同一个整体。置国家大事于不顾，一味追求行为显露痕迹，如果君臣上下都共同遵循这条道路，那么国家的兴衰就难以预料了。”太宗大惊失色说“：我已经悔悟这件事了。”魏征又跪下说“：愿陛下让臣做良臣，不要让臣做忠臣。”太宗说：“忠臣、良臣有不同的地方吗？”魏征说“：稷、契、咎陶就是良臣，龙逢、比干就是忠臣。良臣使自身获得美名，君主得到光耀的称号，子孙世代相传，福禄无边。忠臣自身遭祸被杀，君主陷于愚昧、凶暴的境地，国破家亡，只得到一个忠臣的空名。从这说来，忠臣、良臣相差就远了。”太宗深深地被魏征的话打动了，赐给魏征绢五百匹。
贞观二年(628)，魏征升任秘书监，参预朝政。魏征因为感到国家经历了丧乱之后，图籍散失，制度、法令纷乱繁杂，奏报朝廷组织学者校定四部书。几年之间，秘府中收藏的书籍，精要而又完备。
当时高昌王麴文泰准备入京朝见皇帝，西域各国都想乘麴文泰入朝的机会，派使者给皇帝进贡，太宗命文泰的使臣厌怛纥干前去迎接西域各国使臣。魏征规劝说“：天下刚刚平定，战乱的创伤还未恢复，如果稍有劳役，自己就不得安宁。往年文泰入京朝见皇上，所经过的州县，尚且疲于供给，何况又加上西域各国的使臣。假如让西域的人以商人的身份来往，边地人民就会因此得利；如果作为宾客前来。国中就会消耗大量资财而深受其害。东汉建武二十二年(46)，天下已经安定，西域请求东汉设置都护、派遣王子入京侍奉皇帝，光武帝不准许，是不愿因为异族而使中原消耗劳力资财受害。现在如果答应十国使者入京进贡，它们的使者不下千人，将使边地各州怎么应付？人的心性各异、头绪万端，过后即使后悔，恐怕就来不及了。”太宗认为魏征的意见很好，当时厌怛纥干已经出发，太宗命人立即追赶制止了他。
后来太宗到九成宫游玩，因有宫人回京，住在氵韦川县的官舍里。不久右仆射李靖、侍中王王圭接着到来，县吏把宫人移到别的住所，让出官舍给李靖等住。太宗听说这件事，发怒说：“威力福禄的权柄，难道是由李靖等掌握的吗？为什么礼待李靖而轻视我的宫人！”立即命令审查氵韦川县吏和李靖等人。魏征劝阻道“：李靖等人，都是陛下的心腹大臣，宫人不过是后宫打扫庭院的奴婢。论他们付托的使命，事理各不相同。再说李靖等外出，官吏要向他们询问朝廷法度，他们回来，陛下要向他们询问民间疾苦。李靖等理所当然要与官吏相见，官吏也不能不拜见他们。至于宫人，供奉饮食之外，无须参见侍候。如果因此怪罪责罚官吏，恐怕有损皇上的声誉，使天下人听了感到惊骇。”太宗说“：您说得对。”于是开释了官吏的罪名，李靖等仍然住在官舍里，也不再查问了。
不久，太宗在丹霄楼设宴，饮酒之中酒兴正浓时，太宗对长孙无忌说：“魏征、王王圭，从前在东宫，尽心侍奉隐太子建成，当时那么忠心也确实可恶。我能提拔任用他们，以至今日，足以说明我是无愧于古人的了。但魏征每当他进谏我没有听从时，我发话他就不马上答应，这是为什么呢？”魏征回答说“：臣认为事情有不合适的地方，所以才进谏，如果陛下不听规劝而臣马上答应，那恐怕事情就会照样施行。”太宗说：“只管当时答应，有机会再另外陈述意见，难道不行吗？”魏征说“：从前舜告诫群臣说‘：你们不要当面顺从我，退下后又有话说。’如果臣当面顺从陛下又找机会陈述意见，这就是‘退下后又有话说’，难道是稷、契事奉尧、舜的办法吗？”太宗大笑说：“别人说魏征举动粗野、傲慢，我却觉得妩媚，正是因为这些啊。”魏征拜谢说“：陛下启发引导臣让臣说话，所以臣敢于进谏，如果陛下不接受臣的进谏，怎么敢多次触犯皇上的尊严呢？”
那月，长乐公主将要出嫁，太宗因她是皇后所生，命令有关部门办的嫁妆比永嘉长公主多一倍。魏征说“：不行。从前汉明帝准备授封地给他的儿子，说‘我的儿子怎么能与先帝的儿子等同，可封给他楚地、淮阳的一半。’以前的吏书把这事作为美谈。天子的姊妹是长公主，天子的女儿是公主，既然加‘长’字，就是有它的尊荣显贵。感情可以有深有浅，但不容许超越了礼仪制度。”太宗认为他说得对，入宫告诉长孙皇后，然后派使者送钱四十万、绢四百匹，到魏征的住宅赐给他。不久魏征晋升爵位为郡公。
贞观七年(633)，魏征代王王圭任侍中，尚书省长期积压没有判决的诉讼案，太宗命魏征秉公处理。魏征不大熟悉法律，但能抓住根本原则，依实际情况处理，大家都心悦诚服。
当初，太宗命令狐德..、岑文本撰修《周史》，孔颖达、许敬宗撰《隋史》，姚思廉撰《梁史》、《陈史》，李百药撰《齐史》。魏征受诏总加撰定，对书稿多有删补，力求达到简明正确。《隋史》的序、论，都是魏征所做，并为梁、陈、齐各史撰写总论，被当时称为良史。史书撰成后，魏征加封左光禄大夫，晋爵郑国公，赐绢二千段。
魏征自认为对国家没有功，只不过是凭借辩论、游说，就参与决策，深怕遭遇好到头会有亏损，后来借口眼疾多次请求辞位。太宗说“：朕把你从虏获的敌军中提拔起来，任命你担任关键的职务，见到我的过失，没有不直言劝谏的。你难道没有看到金在矿里，有什么值得珍贵的呢？好的工匠把它冶炼、锻造成器物，就被人们当作宝贝，朕正是把自己比做金矿，把你当成好的工匠。你虽然有病，但还未衰老，哪能就这样辞官呢？”那年，魏征又当面请求辞位，太宗很难违背他的请求。于是拜魏征为特进，仍旧让他掌管门下省事务。那以后魏征又先后上了四道奏疏，用来陈述政事的得失。其一曰：
“臣观察自古帝王为受瑞图应运而兴，继承王位遵守法度，控制英杰，统治天下，都想让宽厚仁德与天地媲美，高尚明达与日月齐光，子孙百代，传福无穷。然而能善终者少，失败灭亡相继出现，这是什么缘故呢？所以要探求失去天下的规律，隋朝的借鉴不远，可以得到而把它说出来。
“过去隋朝，统一天下，兵甲强盛，据有天下三十多年，教化风行万里，威力使异邦人感到震慑，一旦丧失天下，都成为他人所有。那隋炀帝难道讨厌天下太平，不求国家长久，所以施行桀的暴虐，用来造成国家的灭亡吗？这是他依仗国家的富强，不考虑后患的缘故。驱使天下的人来满足自己放纵的欲望，用尽万物来奉养自己，搜求国内的女子，搜刮远方的奇珍异宝。修饰宫宇，筑高台榭，徭役不断，战争不息。向外显示自己的威严，对内常常阴险猜忌，谗佞邪恶的人必定得到好处，忠心正直的人却自身不保。上下相互欺骗，君臣隔绝不通，人们无法活命，境内分崩离析。因而导致君王死于匹夫之手，子孙绝灭，被天下人耻笑，让人十分痛心啊！
“圣人乘此机会，拯救天下的危难，重正倾倒的八柱，申张绝灭的四维。使远处恭敬近处安宁，不用超过一个月；使凶残人从善，废除死刑，不须等待百年。现在隋帝的宫殿楼台，陛下全都住了；奇珍异物，陛下全都收下来了；贵妇美女，都在陛下身边侍候；四海九州的人，都成为陛下的臣妾。陛下如果能借鉴隋朝之所以灭亡的原因，思索我朝之所以得天下的原因，一天比一天谨慎，把盛世当成危难之时。焚毁隋宫的宝衣，废弃阿房的广殿，害怕危险脱离高大的殿宇，追求安宁住在低矮的宫室，那就出神入化，无为而治。这是德的最高境界。如果已经成就的事业不败落，继承原有的传统，取消不急迫的事物，减少再减少。在桂栋中杂以茅草，在玉阶中参以土阶，用人叫人悦服，不把劳力用尽。常考虑士人的安逸、百姓的劳苦，万民欢迎您驾临，众生仰慕而遂心。这是德的次一等境界。如果不慎重地考虑后果，忘记创业的艰难，认为天命可以依恃，忽视采椽的恭俭，追求雕情的奢侈，在旧有的基址上扩建宫殿，加以装饰。见到什么就扩展什么，欲望不知道满足，人们看不到君主的德政，而只听到要去服劳役的事，这是德中的下等。好像是背着柴禾去救火，用开水去浇息水的沸腾，以暴乱更替暴乱，走上动乱道路，没有可以让后人效法的准则，导致民怨神怨；民怨神怨，那么灾害就会发生，祸乱就必然兴起。祸乱已经兴起，而能使自己的躯体名声善终的不多啊。周武王顺应天命改朝换代，兴隆了七百年的江山，传给子孙万代，得来不易而失去却很简单，可不深思吗？”
其二曰：
“我听说想要树木生长，一定要使它的根长得牢固；想要水流得远，一定要疏通它的源头；想让国家安定的人，就一定积聚自己的道德仁义。源头不深哪能指望水流得远，根不牢固怎么能要树木生长。道德仁义不厚重而想国家安定，即使最愚蠢的人，也知道这是不可能的。何况明智的人呢！国君担负着治理天下的重任，在天地之间处于至高无上的地位，将达到无穷之高，永保无穷之美。如果不考虑在安乐中想到危难，用俭朴戒除奢侈，如果道德不能保持厚重，感情不能战胜贪欲，这也像砍树根而求树长得茂盛，塞水源而想水流得长一样。
“古代所有的君王，都是承受上天授予的使命，没有不是深深忧虑而道义显著，功业完成而道德衰落的。有好的开端的的确很多，能够善终的却很少。难道是取得天下容易守住天下难吗？过去取得天下游刃有余，现在守住天下却力不从心，这是为什么呢？在忧患深重时必定竭尽诚心地对待下面的人，一旦达到目的就放纵自己的感情傲慢地待人接物。竭尽诚心，那么胡、越也可以结为一体；傲慢待人，那么骨肉至亲也会像路人一样。即使用严酷的刑罚来督查人，用威力暴怒来震慑人，最终只能使人苟且免刑而不怀念君王的仁慈，态度恭敬而内心不服。怨恨不在于大小，可怕的只有人民。人民像水一样，既可负载船只，也可倾覆船只，所以应当十分慎重，朽烂的绳子驾着奔驰的车，难道是可以忽视的吗？