故事发生在1999年的日本M县S市杜王町，年事已高所以考虑遗产分配的乔瑟夫‧乔斯达，在进行身家调查时，发现竟有一个自己不知道的私生子，为了处理遗产分配的事宜，委托外孙空条承太郎造访杜王町，与其私生子东方仗助见面。
承太郎在杜王町停留期间，连环杀手安杰罗以替身能力杀死仗助的外祖父东方良平，使仗助和承太郎开始追查安杰罗，并在之后将其击败。安杰罗告诉他们杜王町有一副能赋予人替身能力的“弓与箭”，拥有弓箭的虹村形兆，与他的弟弟虹村亿泰用箭制造了许多替身使者，目的是寻找有能力杀死他们那变成怪物的父亲的替身使者，仗助的同学广濑康一也因此成为替身使者。当仗助与虹村兄弟战斗时，替身呛辣红椒突然出现，不仅杀死形兆，亦抢走了弓与箭。仗助一行人最终击败了呛辣红椒的本体音石明，收回了他手中的箭。
一个月后，康一与漫画家岸边露伴相识，他们意外进入一条通往冥界的隐密巷道，遇见名为杉本铃美的女幽灵，铃美透露在杜王町中居住着一名会杀害年轻女性的杀人魔吉良吉影。当仗助和亿泰的朋友矢安宫重清凑巧发现吉良吉影的秘密，被其杀害后，仗助一行人便开始追查吉良吉影的下落。吉良吉影一度被仗助等人困住，但他借着美容师辻彩的替身能力变换容貌，以川尻浩作的身份继续作恶。之后，吉良吉影的父亲吉良吉广用箭制造了几个替身使者，以此阻挠仗助他们对吉良的追查，包括以猜拳夺取替身能力的大柳贤、住在铁塔上的钢田一丰大、喜好观察人类的宫本辉之辅和建筑师乙雅三，但被仗助他们一一击败。
能赋予人替身能力的箭让吉良吉影的替身“杀手皇后”有了回溯时间的新能力，他将这项能力安装在川尻浩作的儿子川尻早人身上，这个能力曾一度将露伴、仗助、康一、亿泰和承太郎全部炸死，但在川尻早人的努力下，吉良吉影在仗助面前自曝身份，迫使他解除能力，并与仗助正面对决。仗助一行人最终战胜了吉良吉影，捍卫了杜王町的和平，被吉良杀死的杉本铃美也终于瞑目。虽然承太郎仍在意杜王町是否有未被发现的邪恶替身使者，但乔瑟夫认为这个小镇的人们都有着“黄金精神”，能够对抗恶势力，便与承太郎放心地离开杜王町。
延伸番外漫画《疯狂‧钻石之恶灵的失恋》的故事时间点设定于1999年3月，为《星尘斗士》的十年后与《不灭钻石》正剧开始前，补述了东方仗助和曾为迪奥·布兰度部下的荷尔·荷斯、波因哥、花京院典明的表妹花京院凉子，受迪奥饲养的鹦鹉使者佩特桑影响在杜王町经历的冒险。荷尔·荷斯和波因哥为了完成寻回佩特桑的任务抵达杜王町，陆续认识仗助和凉子展开行动，但也因为波因哥遗落替身托特、杜王町警察仮赖谷一树利用佩特桑在杜王町作乱，让杜王町陷入一连串的混乱之中，最终随着仗助击败佩特桑和仮赖谷一树，才让杜王町恢复和平。荷尔·荷斯与波因哥离开杜王町之际，托特神浮现仗助的外祖父东方良平被连环杀手安杰罗杀死的画面，凉子也在这段历险理解表兄与承太郎等人奋战的想法，得以释怀离开杜王町。