白无常拘的是良善之人，黑无常则专拘为恶之人的魂魄，据说被白无常拘去的魂魄能顺利转世投胎，而被黑无常拘去的魂魄则在受尽地狱刑罚，最后转入畜生之道。其实这从他们的面相就可以看出，一善一恶。白无常一脸和善的笑意，而黑无常则一脸凶神恶煞的表情。
不过关于黑白无常的来由还有另一个版本，说到这里有一则《黑无常改恶从善》的民间传说很是典型。传说从前有两父子，儿子从小好逸恶劳，又抽烟又赌钱。父亲管教，儿子就是不听。有一次，儿子赌钱回来，输了个精光。父亲失手将儿子打死了。儿子死后，恶习不改，阴魂在人间依旧作恶害人。
过了几年，有天晚上，儿子来到自家门外，当他正要进屋时，院子里的狗叫个不停。他父亲知道又有死鬼来害人，一手提刀，一手端着桐油灯出房来收鬼。儿子看见父亲来势凶猛，跳到房子上说：“父亲，孩儿不是来害人的，孩儿只是想回来看看你老人家。”
父亲说：“你在世作恶，死了还扰得乡邻不得清净，我失手打死你后，心头还难受了好久，你继续作恶，我反而不难受了。”
儿子说：“你说得实在有理，儿子现在已天良发现，发誓不再作恶，一定改恶从善来世再来报答养育之恩。”