永兴元年(304年)，刘渊在南郊筑坛设祭，自称汉王，赦免境内囚犯，建年号为元熙，追尊刘禅为孝怀皇帝，建造汉高祖以下三祖五宗的神位进行祭祀，立妻呼延氏为王后。署置百官，任命刘宣为丞相，经师崔游为御史大夫，宗室刘宏为太尉，其余的人授官各有等差，国号为汉(史称汉赵、前赵)。
东嬴公、并州刺史司马腾闻讯，派将军聂玄讨伐刘渊，战于大陵(今山西文水)，聂玄军大败，司马腾害怕，于是率领并州二万多户百姓逃到山东，到处侵犯、骚扰。刘渊乘胜进军，派遣建武将军刘曜接连攻下太原、泫氏、屯留、长子、中都。元熙二年(305年)，司马腾又派司马瑜、周良、石鲜等人率军讨伐刘渊，他们驻扎在离石的汾城。
刘渊派遣武牙将军刘钦等六军迎战司马瑜等人。
四次交战，司马瑜都被击败，于是，刘钦整顿军队，凯旋回师。同年，离石发生大饥荒，刘渊迁居黎亭，以便食用邸阁屯积的粮食。
刘渊留太尉刘宏、护军马景守离石，派大司农卜豫运送粮食供给他们。接着，任命前将军刘景为使持节、征讨大都督、大将军，在版桥截击刘琨，被刘琨击败，于是，刘琨进据晋阳。侍中刘殷、王育规劝刘渊道:"殿下您从起兵至今已一年，然而，只据守在偏远的地方，威望还未远震，如果真的能够命令将士四出攻击，抓住机会，大胆地决战，斩杀刘琨，平定河东，建立皇帝的名号，向南大举进军，攻克长安，并将它作为国都，再率领关中的兵众席卷洛阳，就像转动指掌一样容易。这也是汉高祖之所以能开创宏基、消灭强楚的策略。"
刘渊高兴地说道:"这就是我所想的啊。"
于是进据河东，攻占蒲阪(今山西永县)、平阳(今山西临汾)。
接着，刘渊进入蒲子，并将它作为都城，河东、平阳属县的各垒壁都投降于他。
当时，汲桑在赵魏起兵，上郡四部鲜卑陆逐延、氐族酋长单于征、东莱人王弥以及石勒等人都相继投降刘渊，刘渊都授予他们官爵。
永嘉二年(308年)，刘渊正式称帝，大赦境内囚犯，改年号为永凤。
任命大将军刘和为大司马，封梁王，尚书令刘欢乐为大司徒，封陈留王，御史大夫呼延翼为大司空，封雁门郡公，宗室中以亲疏为等级，皆封郡县王，异姓中以功劳、谋略为等级，皆封郡县公侯。太史令宣于修之对刘渊进言道:"陛下您虽然如龙腾起，如凤翱翔，接受大任，然而，晋朝余部尚未消灭，皇族居室窄陋，紫宫星座的变化，还指向晋氏，不出三年，必定能够攻克洛阳。
蒲子地域崎岖狭小，不可长久安身。平阳有天子之气，又兼是陶唐的旧都，希望陛下您上合天象之变，下合地理之祥。"于是迁都平阳。有人从汾水中得到玉玺，上面的文字是"有新保之"，大概是王莽时的玉玺，得到的人顺便增加了"渊海光"三字，刘渊认为是自己的好征兆，于是大赦境内囚犯，改年号为河瑞。又封他的儿子刘裕为齐王，刘隆为鲁王。
不久，刘渊命其子刘聪和王弥进攻洛阳，刘曜和赵固等人作为后继。西晋东海王司马越派平北将军曹武、将军宋抽、彭默等人迎战，晋军大败。
刘聪等率军迅速到达宜阳。
平昌公司马模派将军淳于定、吕毅等率军从长安讨伐刘聪军，在宜阳决战，淳于定等大败。刘聪依仗连续的胜利，没有设防，弘农太守垣延假称投降，乘夜偷袭，刘聪军大败而回，刘渊穿着白衣服前来迎接。
同年冬，再次征发士卒，派遣刘聪、王弥与刘曜、刘景等人率领精锐骑兵五万去进攻洛阳，派呼延翼率步兵接应，结果，在黄河南面将晋军打败。刘聪进军，驻扎在洛阳西明门，西晋护军贾胤乘夜接近他们，在大夏门大战，斩杀刘聪的将领呼延颢，呼延颢军溃败。刘聪向南撤退，在洛水构筑壁垒，不久，又进驻宣阳门，刘曜驻扎在上东门，王弥驻扎在广阳门，刘景攻击大夏门，刘聪亲自到中岳嵩山求神，命令将领刘厉、呼延朗等负责指挥留守的士兵。
东海王司马越命令参军孙询、将军丘光、楼裒等人率领手下勇士三千，从宣阳门攻击并斩杀呼延朗。刘聪得到消息后快马赶回，刘厉因害怕刘聪给自己治罪，于是投水而死。
王弥劝刘聪说:"现在既然失利，而洛阳又非常牢固，殿下您不如回师，以后再慢慢地图谋。我当在兖州、豫州之间招募兵士，收聚粮食，以等待进攻的日期。"宣于修之又劝刘渊说:"辛未那一年，当攻下洛阳。现在晋朝的紫气还很盛，大军不回，必定失败。"刘渊派黄门郎傅询快马召刘聪等回师。王弥从轘辕撤出，司马越派薄盛等人率兵追击，双方在新汲大战，王弥军大败。于是整顿蒲阪的防守，回到平阳。
刘渊任命刘欢乐为太傅，刘聪为大司徒，刘延年为大司空，刘洋为大司马，赦免境内囚犯。又立妻子单氏为皇后，儿子刘和为皇太子、刘乂为北海王。
永嘉四年(310年)七月，刘渊卧病，准备嘱托后事，任命刘欢乐为太宰，刘洋为太傅，刘延年为太保，刘聪为大司马、大单于，并且统领尚书事务，在平阳西部建造单于台，任命其子刘裕为大司徒。刘渊病重，召刘欢乐和刘洋等人到宫禁中接受遗诏，辅佐朝政。八月，刘渊在光极殿去世，共在位六年。刘渊死后，其子刘和继位。
不久，刘聪自西明门攻入西室，杀刘和自立。同年九月，刘聪葬刘渊于永光陵，上谥号为光文皇帝，庙号高祖。
刘渊是汉化的匈奴贵族后裔，他在西晋日趋衰败、各地流民纷纷起义反晋的浪潮中，趁势在中原建立了第一个少数民族政权--匈奴汉国政权。汉国政权建立进一步把中原推向战争和动乱，同时改变了曹操以来匈奴五部统治结构，重新恢复了匈奴传统旧制。
但从少数民族对汉人的长期统治过程中，为各民族之间深层次的融合，准备了条件。