该墓初建于公元1640年前后，距今已有350多年。它最初的名称叫“玉素甫霍加麻批尔”（“麻扎尔”是陵墓之意）。玉素甫霍加是明末清初从中亚来喀什噶尔传播伊禅派教义的传教士（“伊袢派”是伊斯兰教的一个教派）。他全名叫阿吉·买买提·玉素甫霍加（“霍加”是“圣裔”之意）。阿帕克霍加是玉素甫霍加的长子，他继承其父的传教事业后，除了在传教方面在喀什噶尔颇有名气外，在政治上也颇为得意，竟成为喀什噶尔一带的封建统治者。正因如此，当公元1693年阿帕克霍加去世后，他的家人将他进而在玉素甫霍加身旁，本来称作“玉素甫霍加麻扎尔”的陵墓，随着阿帕克霍加的声望而易了名。至于为什么自清末以来，又有人将此墓称为“香妃墓”，传说清乾隆皇帝的妃子“香妃”死后葬于此。
阿帕克霍加墓的整个墓地是由陵墓、大礼拜寺、经堂、小礼拜寺和门楼、主墓室5部分组成的，占地几公顷。
陵墓是整个建筑群的主体建筑，它近似于一个长方形的建筑体。其底宽约35米，进深29米，在陵墓的四角各有一圆形立柱半嵌在墙内，圆柱底直径为3米左右，圆柱的顶端各有一小巧玲珑的召唤楼，楼顶有一弯表示伊斯兰标记的新月。陵墓屋顶是用土块砌成的半圆形大穹窿，其圆拱直径达17米多。用普通土块砌成这样大直径的圆拱，充分体现了当初修墓工匠巧夺天工的技艺。在墓的穹窿顶端，也有一个圆筒形的小楼和一弯新月，它与陵墓四角的小楼和新月相对衬地形成一个和谐的布局，给人以肃穆之感。陵墓高约26米，从上至下全部用绿色的玻璃贴面，在一些部位，还适当地添加了部分蓝色和黄色的玻璃砖，它的上面还写有一些古阿拉伯文和波斯文的伊斯兰宗教训诫。而附属于陵墓的其它建筑，无论在建筑格调还是装饰诸方面，也与陵墓本身十分协调，从而构成了一个建筑整体。