他气走了，他舅舅特地推荐了一个叫王养年的先生来教他。王老先生做过朝廷将官，兼有文武之才，鉴于朝政腐败弃官回乡，以教书为生，张飞对这位先生十分敬佩，在其指点下练文习武，十三岁时就练出一身好武艺，同时通过读书明白不少道理，越发对世道不满，立志要荡平天下救百姓。王先生担心张飞惹出祸来，于是想出一个办法：教张飞练书法、画美人，以有助于融化他的刚烈性格。三年下来，张飞的书画果然大有长进，特别是他的书法别具一格，大受乡人称赞。
张飞年少时受过一定的文化陶冶，所以他粗中有细，并非只有匹夫之勇，平时还喜好结交文人雅士。《零陵先贤传》记载说：“张飞尝就刘巴宿，巴不与语，飞遂忿感。”诸葛亮为此对刘巴说：“张飞虽实武人，敬慕足下。主公今方收合文武，以定大事；足下虽天素高亮，宜少降意也。”刘巴说：“大丈夫处世，当交四海英雄，如何与兵子共语乎？”张飞造访刘巴，想在刘巴处住宿，以便相互交谈，本抱着一片诚意。正如诸葛亮所说，完全是出于敬慕刘巴，可刘巴不领情，竟然不予理睬，摆出一副高傲姿态，难怪张飞忿恨。刘巴拒绝张飞住宿连腔也不答，关键在于张飞是员武将。张飞在刘备集团的地位不低，也算是个英雄，可在刘巴眼里