敢下手，刘晔于是亲手用佩刀斩杀郑宝，并斩他的头下来，向他的部众恐吓：“曹公有令，敢有动者，与宝同罪。”部众见此都很震惊和害怕，跑回营舍，当时营中尚有精兵数千，刘晔为防他们作乱，即骑郑宝的马匹到郑宝的营门前，向一些首领陈说祸福利弊，最终众人叩头迎纳刘晔，刘晔入营后安抚群众，令众人归服，更推举刘晔为新首领。但刘晔见汉室衰微，自己亦是皇室宗族，不想拥兵，与是将那些部曲，都委托给庐江太守刘勋。
刘勋当时在江淮之间，有很强的兵力，受到孙策的忌惮，于是孙策派使节特以卑下的言辞，和财宝要求刘勋代为攻打上缭城，刘勋相信孙策，更因收得财宝而十分高兴，各人都祝贺，但刘晔则不感喜悦。刘勋询问，刘晔则说：“上缭虽小，城坚池深，攻难守易不可旬日而举，则兵疲于外，而国内虚，策乘虚而袭我，则后不能独守，是将进屈于敌，退无所归，若军今出，祸今至矣。”但刘勋不听，坚持出兵，而孙策果从后乘虚袭击刘勋，刘勋失败后，投奔曹操，刘晔亦跟随。
说起刘晔第一次见曹操，刘晔本传注引《傅子》中，记载了一个比较有趣的小插曲，曹操征召刘晔、蒋济、胡质等五个扬州名士，一路上，其他四人为了在见面后赢得曹操的赏识，高谈阔