不过，当时刘渊并不希望成都王失败。临行前劝他必须坚守邺城，说“殿下一发邺宫，示弱于人，洛阳不可得而至；虽至洛阳，威权不复在殿下也”。这不失为临别寄语。后来成都王仓皇离邺，果然一败涂地，事实证明了刘渊的先见之明。
刘渊回到左国城（今山西离石东北，即匈奴左部驻地），刘宣等人立即拥护他做了大单于，建都离石，二十天工夫，便已聚众五万。他随即派出五千骑兵，象征性地去支援成都王的部将王粹。但匈奴兵还没有到，王粹已被东赢公腾打败，带兵的将官刘宏就以支援不及为借口撤了回来。刘渊得知成都王放弃邺城后，也曾表示，“我答应过他，不可以不救。”但刘宣等不赞成，他也就算了。其实，刘渊的表态，多半是做给部下看的，以示其待人诚信，意在训导部下，对他必须忠诚。
晋永兴元年（３０４年）十月，刘渊在左国城建国称汉，自称汉王，改元元熙，并追尊蜀汉后主刘禅为孝怀皇帝。这种做法表明，刘渊与刘宣等其他匈奴贵族的观念很不相同。
刘宣等人是一心要“复呼韩邪之业”，而刘渊却说：“呼韩邪何足效哉！”他要做的事是，“上承汉高之业，下不失为魏氏。”他心目中的英雄是刘邦、曹操。他的头脑很清楚，知道如是亮出匈奴旗号，“晋人未必同我”（未必会受汉人拥护），所以才决定利用曾有的匈汉和亲关系，“且可称汉，追尊后主。”他还以臣属口吻发表文告，从“我太祖高皇帝（刘邦）”说起，历叙两汉盛衰，而且为了表示尊汉，不仅痛责自己心目中的偶像曹操，也对昭烈（刘备）未能完成复兴大业深表惋惜。他要重建汉朝，即是要在“宗庙不血食四十年”之后的今天，“绍修三祖（刘邦、刘秀、刘备）之业”（上述引文均见《晋书·载记一》）。由此可见刘渊是一个极有政治头脑的高明人物。
刘渊建国之初，离石饥荒，晋并州刺史刘琨又已据有晋阳（今山西太原西南），汉要向南发展，并不容易。
晋怀帝永嘉元年（３０７年），石勒、王弥、刘灵等率部来投，刘渊的实力又有所增加。在此，需要先说一说这几个人的来历。
公元４世纪初，天下处处发生战乱。石勒是在“八王之乱”的末年涌现出的一位豪杰之士。他是羯人（羯，匈奴的别部），家居晋南的上党武乡（今山西榆社西北），原名匐勒，字世龙（这当然是发迹后起的）。他的父亲和祖父据说都曾做过部落中的小头目，这是否属实，无法查考，但他年轻时很贫苦，倒是实情。晋太安年间（３０２～３０４年），并州饥荒，东赢公腾为筹措军费，抓胡人卖给人家做奴隶，三十岁左右的石勒也未能幸免。他与人合戴一枷，被押到茌平（今山东东阿西北），卖给师懽做奴隶。不久，他结识了牧马场的头儿汲桑，又招集桃豹、逯明等相与落草，其时共有八人，叫做“八骑”，后又增加十人，改称“十八骑”。
永兴二年（３０５年），成都王颖的旧将公师藩起兵，石勒和汲桑纠合数百人，带上牧马场的马匹，前去投奔。石勒的名字便是公师藩为他起的。公师藩后被充州刺史苟晞打败杀死，石勒和汲桑流亡逃窜，再次落草，不久他们又纠合众多亡命之徒，自己组建了一支部队。永嘉元年（３０７年），他们竟打开邺城，杀死新蔡王腾（即东赢公，后进封为王），但很快又被苟晞打败。他们收拾残部，要去投奔刘渊，但途中却被晋军打散。此后，汲桑被“乞活”（流窜求食物的难民武装）诸将所杀，石勒则投到了刘渊麾下，从此成为他的一员得力部将。
王弥与石勒不同。他是东莱（今山东莱州）人，其祖与父都曾官至太守。他既有谋略，也膂力过人，但在官宦之家，却是个不肖子弟。惠帝末年，他率领家僮，跟着“妖贼”刘伯根造反。刘伯根失败后，他上长广山落草，在青州一带，号称飞豹。他曾纠合数万之众，在今山东、河南境内流窜劫掠，一旦被打得溃散了，便潜伏下来，再收亡命之徒，以期卷土重来。刘灵是阳平（今山东莘县）人，出身贫苦，勇猛过人，力能制服奔牛，跑可与快马争先。公秉藩起兵后，他纠合一批人马，自称将军，在河北以劫掠为生。晋永嘉元年（３０７年），这两支人马被官军打败后，两人沆瀣一气，决心投靠刘渊。派人前去联系后，刘渊当然很愿意接受，分别给他们封了官。随之，刘灵去了刘渊那里，王弥则仍在中原重整部伍。
在永嘉二年（刘渊元熙五年，３０８年）以前，刘渊的兵力并没有较大发展，加以离石饥荒，处境极为困难。他的侍中刘殷、王育两人认为，危困之时，应大举出兵，攻下晋阳，消灭刺史刘琨，再南向占领河东（河东、平阳两郡，今晋南），建立帝号；渡过黄河后，即取长安为都，再以关中之众，东进直取洛阳。刘渊听后认为可行，即于当年年初派刘聪等人南据太行，石勒等人东下赵、魏（即河北方面）。但半年过完后，两路人马都没有什么战绩，倒是王弥在中原整顿恢复后，打得有声有色，且攻略青、徐、兖、豫四州（相当于今山东全省，河南省的黄河以南部分、江苏、安徽两省的北部），破城杀官，让有“屠伯”之称的青州刺史苟晞十分头疼。五月，王弥打到洛阳城外，在被晋朝援军打败后，逃走前还放火烧建春门，又与追兵恶战一场，才撤到黄河以北，往晋南去和刘渊会合。
刘渊南进策略，到七月中才有所获，即攻克了平阳郡的治所平阳（今山西临汾西南）。随即，他迁都蒲子（今山西隰县），于十月中即位称帝，改元熙五年为永凤元年。次年正月，又迁都平阳，改元为河瑞元年。
现在回头再说河北的战况。秋冬间，石勒与王弥联合行动，九月进至邺，守邺的征北将军和郁弃城而逃。以后，石勒又与刘灵合作，攻略魏郡（治邺，此指属县）、汲郡（治今河南卫辉西南）、顿丘（治今河南清丰西北）三郡，百姓五十余垒都望风而降。这几郡在今冀南、豫北一带，久经战乱，成都王颖覆亡以后，晋朝的统治力量薄弱，社会秩序混乱，居民为求自保，建立了许多村寨堡垒，但若遇强敌，除了投降，别无出路，所以石勒、刘灵进展得非常顺利。
汉河瑞元年（晋永嘉三年，３０９年），刘渊得到降将朱诞的报告，知道洛阳空虚，很想尽快攻下洛阳，但在当时，他却不能不以上党郡（即今晋东南地区）为其用兵重点。因上党就在都城平阳之东，那里仍受晋并州刺史刘琨的管辖。所以刘渊必须攻占这一地区，才能保证平阳的安全。至于渡黄河南下进攻洛阳，则更须取得上党，才能打开进兵的道路。这年上半年，他即派刘聪、王弥攻上党。刘琨处境困难，不敢轻离重地，但也派兵去救。洛阳的东海王越也派王旷率数万之众，渡河北上救援。刘聪、王弥先后打败这两次援军（《晋书·载记四》和《通鉴》卷八七都说石勒做刘聪的前锋，按石勒其时已有兵十多万，在河北的巨鹿、常山一带，即今河北省中西部发展，恐怕不可能去做刘聪的前锋都督），又相继攻克屯留、长子，逼得上党太守庞淳不得不献出壶关投降。之后刘琨虽命张倚再领上党太守，但其实只据襄垣一城，上党郡的大部分都已为刘渊所有了。
可进攻洛阳就没有这么顺利。
早在上党战前，刘渊已有一次尝试。他任刘景做灭晋大将军、大都督，用降将朱涎做前锋，要他们先在洛阳以东几百里的黎阳（今河南浚县东）突破黄河，再寻南下之机。刘景领命后，一举攻克黎阳，又占领了黄河的重要渡口延津（在今河南延津县西北）。他在这里犯了个大错误，竟把三万多男女百姓赶到河里淹死。刘渊得讯，大为光火，说：“我要铲除的是司马氏，百姓有什么罪！”他立即把刘景降职，战役也就此中止了。
上党战役结束后，刘渊就可以用主力攻洛阳，也无需从东面迂回了。八月，刘聪等向洛阳进军。他走的是晋西南黄河对岸的路线（大体上相当于今陇海铁路潼关、洛阳段），也是走最直捷的路线。刘聪开头打得很顺利，很快就推进到宜阳（今河南宜阳西）。九月，他因轻敌，被晋军袭败。这是一打洛阳。同年十月，他又发动第二次进攻洛阳的战役。这时刘聪、王弥、刘曜、刘景也都赶来助阵。兵到洛阳城下，眼看大功即将告成时，部将呼延翼、呼延颢、呼延朗先后阵亡；加以由于道路狭仄，又遭晋军阻击，陕县后方的粮车无法前进，刘聪无奈，只得发令退兵。两仗如此结局，看来汉要灭晋，暂时还做不到。
刘渊等不到胜利之日，即于河瑞二年（晋永嘉四年，３１０年）去世，时年约六十，太子刘和嗣位。刘和没有带过兵打过仗，兄弟刘聪却久握兵权，他们两个如何能够相处。刘渊尸骨未寒，刘和就想解决刘聪，但力量不够，反而被刘聪杀了。刘聪夺了帝位，改元光兴。他在位时，攻陷洛阳、长安，灭掉西晋（详见第八篇）。东晋大兴元年（３１８年），刘聪去世，其子刘集嗣位。刘暇（刘聪堂兄弟）又夺了堂侄的帝位，还把国号改称为赵，历史上称为前赵。
刘聪、刘粲、刘曜都远不及刘渊。刘渊谴责刘景滥杀百姓的暴行。刘聪、刘粲却都荒淫残酷，刘曜与他们也不过五十步与百步的区别。