在历史记载之中，人们最担心的是项羽对秦始皇陵的破坏。
据史书记载，项羽带兵进入关中后，先杀了已投降刘邦的秦王子婴和秦王室贵族，然后把咸阳城内掳掠一空，最后一把火烧了咸阳城。接着，项羽又带兵来到秦始皇陵，命士兵挖掘始皇陵，将陵墓上下所能见到的东西统统运走。当时运东西的人有3o万，3o多天还没有运完，足见陵中珍宝之富。最后，项羽将不能过走的东西一把火烧了，大火烧了许多天。这可能是秦始皇陵最早和破坏最大的一次劫难。
项羽东撤后，关东的盗贼纷纷涌入秦始皇陵，传说捣毁陵内铜椁以取铜。再后来，传说有一个牧童在此放羊，羊走进了被乱军挖开的地下穴道，找不到了。牧童便拿了一个火把，进入墓穴中去找羊，结果失火，大火烧了9o多天。据说，方圆数十里的陵区地面，也随着一些陪葬坑和陪葬墓的坍塌而下陷了好几米。这样使秦始皇陵的地面建筑荡然无存，地下埋藏也受到一定程度的破坏。这些记载都被当今考古现所佐证。秦始皇陵现的陪葬坑陪葬墓几乎都遇到过被盗和火焚的破坏。
经过四年楚汉战争，刘邦打败了项羽，建立了西汉王朝。为了笼络人心，公元前195年，刘邦下令对秦始皇陵妥为保护，安排2o