自负武功天下无敌，虽然被人发觉，却也并不害怕，打算杀掉对方，再去刺杀杨素。但是让虬髯客意外的是对方不只武功奇高，而且极富智计，任凭虬髯客使出全身解数，竟然无法将对方杀掉。自从他艺成以来，从来没有遇到过如此厉害的敌人，岂能不让他惊骇之极？
虬髯客与那人大打出手，终于惊动了杨府的侍卫。虬髯客暗想自己使出了生平所学，虽然略占上风，但是想要杀掉敌人，最少也要斗上一两千招。若是杨府侍卫围了上来，敌人如虎添翼，以众凌寡，自己非败不可。念及此处，他知道今夜要杀掉杨素已无可能，正所谓留得青山在，不怕没柴烧，须得立时伺机逃离杨府，日后再寻机杀掉杨素。
杨素受封为越王，乃是杨广驾前第一重臣。刺客夜入越王府刺杀杨素，乃是惊天大案，是以京城各门紧闭，御林军在全城搜捕刺客。虬髯客逃出越王府之后，虽然并不害怕巡察的军兵，但是想到在越王府遇到的那人武功之高，却也是心有余悸，暗想单打独斗，我不惧天下任何一人，只是若是再遇到那个家伙，一旦被他缠住，官兵从四面八方围了上来，我势穷力孤，非得死在他手中不可。念及此处，虬髯客不敢在城中逗留，连夜从西城翻越城墙，想要远离京城，暂避风头。
只是他出城