回来，因而名声大振。举孝廉后任豫州梁国下邑县县令，刘繇居然弃官不干了，后来刘繇又跑回老家青州，到济南国任部丞一职，当时的济南国相是中常侍的儿子，此人在当地疯狂贪污，刘繇就奏明朝廷把济南国相免了，随后朝廷征召刘繇入京，以司空府官员的身份授侍御史一职，刘繇竟然不去就任。
青州因黄巾大起义形势动荡，刘繇就和张昭、诸葛瑾、鲁肃等士族一样南下跑到淮南避乱，朝廷加封刘繇为扬州刺史，原来的州治所寿春，被袁术占据了。刘繇畏惧袁术而不敢去上任，准备向南渡过长江。丹阳太守吴景、丹阳都尉孙贲迎接这个新任扬州刺史，到吴郡曲阿县安置下来，曲阿县就算是扬州的新治所了。不幸的是这个吴景正是孙坚的妻弟，孙策的舅舅，这个孙贲正是孙坚哥哥的儿子，因整个孙坚家族都是袁术的部属，刘繇就翻脸轰走了孙贲和吴景，然后自己以扬州刺史的身份征召部队，派遣将领樊能、张英率军驻扎在长江边，以抵御袁术。刘繇军在和袁术军成胶着状态时，突然朝廷命令又下来了，加封刘繇为扬州牧，振武将军，刘繇的部队随即就膨胀到数万人了。
虽然很莫名其妙，很不情愿地卷入了天下大乱，但是一直艰难并坚强地执行围剿袁术的任务，不幸的是，孙策横空出山