关于这座圣墓的来历，泉州伊斯兰教主任黄秋润认为圣墓这个名称不准确。在伊期兰教，对先知穆罕默德才能称“圣”。他的弟子只能称“贤”。所以确切地说，这座墓应称三贤四贤墓。因为圣墓之说从明朝即已叫开，现在只好约定俗成了。
在阿拉伯世界，麦加是一个最大的朝圣土，因为它是伊斯兰教发样的地方。此外还有两个圣迹：第一圣迹是穆罕默德的墓，在沙特阿拉伯的麦地那；第二圣迹是穆罕默德的继承人阿里的墓，在伊拉克的纳杰夫城。这两个圣迹是伊斯兰教现存最古、保存最完好的圣迹。此外，泉州圣墓也算保存得最好的圣迹了。
据明代何齐远的《闽书》记载，相传唐高祖武德年间(公元618—626年)伊斯兰教创始人穆罕默德曾派弟子四人，远涉重洋来中国传教，大弟子到广州，二弟子到扬州，三弟子和四弟子到泉州。史学家认为，这个传说是可信的。因为穆罕默德确实向穆斯林发出过“求知即使远在中国，亦当求之”的训示。穆罕默德创教初期，一批教徒从海路来到中国。而泉州在唐代和广州、扬州、宁波被称为中国对外贸易四大港口。那时确有大批阿拉伯人来此传教和做生意。
整个圣墓是石质的，墓的周围固以石栏，甬道、台阶、回廊皆为石条石板，三贤四贤的石棺放在石亭之中，石亭高5米，由四根石柱支撑。两座并列石棺皆长约2米多，棺前设石香炉，石棺周围有一半月形石廊，立有许多石碑石刻，其中有一块石碑用阿拉伯文写成，记述着石墓重建时间是元代至治年间，并介绍了三贤四贤的事略，这是一批穆斯林修建的。碑中有“一旦遭遇艰难，徬徨无策，即前来瞻礼,祈求默示光明，并有奉献，均获益平安而返”的话。传说自从这里埋葬三贤四贤以后，经常发生夜里显灵的事，故称灵山圣墓。
在中文碑记里，最有价值的要算“郑和行香碑”了。这是我国古代著名航海家郑和，于公元1417年第五次下西洋时，来圣墓行香祷告。碑文为：“钦差总兵太监郑和，前往西洋忽鲁谟厮等国公干，永乐十五年五月十六日于此行香，望圣灵庇佑。镇抚蒲日和记日”。这方碑刻，准确地记载了郑和第五次下西洋的时间。还证明他是一位虔诚的伊斯兰教徒。