。他久居京城，自然知道杨素是一个大大的奸臣，害死了无数忠臣良将和平民百姓，早就想要除掉杨素。是以杨素要韩擒虎带自己到越王府做客，他想也没想便答应了下来，打算与杨素结交，伺机将其刺杀，除掉这个大奸臣。
李靖得到杨素赏识之后，两人时常坐而论道，他这才发现杨素虽然奸诈狡猾，但是极为爱才，可以称得上识英雄重英雄，对自己极为看重，曾经托着他的官印对自己说道，将来这个官印必定是李郎所有。若是自己将杨素杀死，未免太过恩将仇报，不是英雄好汉的行径。何况杨素虽然做过不少坏事，但是元凶乃是杨广，杨素只不过是为了自保，这才事事逢迎杨广，到得后来，朝廷中的大臣也好，世间的平民百姓也罢，都将罪责放在杨素的头上，恨不能饮其血，食其肉。虽然不能说杨素事事冤枉，但是他确实替杨广背了黑锅。
李靖知道许多内情之后，竟然对于是否应该刺杀杨素变得犹豫不决起来。而且他出身将门，叔父韩擒虎又是大隋朝开国名将，若是自己动手杀掉杨素，势必掀起惊天大案，李家难逃灭族之危不说，与此事全然无关的韩擒虎也非得被族诛不可。是以李靖犹豫再三，一直没有下手杀掉杨素。
那一晚李靖与杨素下棋，告辞离开之时，惊觉院子中来了