云居寺始建于唐初，寺门东向，中路为6进殿宇，依次是天王殿、昆卢殿、释迦殿、旃檀殿、药师殿和弥勒殿。诸殿之侧分别有僧房、文殊殿和方丈院等附属建筑。6进殿宇均以台阶式建筑而逐级升高，依山势而高低错落，层次分明。
在云居寺北侧，有一个一塔居中，四塔座隅的“五塔”群。居中的是一座辽代砖塔，原名舍利塔，又名罗汉塔、北塔。塔高30米，依山耸立。塔座的砖砌有浮雕，塔身分上下两层，装有佛龛、拱门等。上有9层相轮，以宝珠为刹顶。砖塔四角各有一座罗汉小形石塔，塔底为正方形平面，每塔都有6层密檐，形制也很相近。在塔身朝向大塔的前后壁面有雕刻的金刚力士。这些石料小塔高3米多，与中间大塔连为一体，主次相间。这4座小塔的塔龄都超出中间罗汉高塔300年左右。修建最早的是西北一座，建于唐睿宗景云二年（公元711年），最晚的西南一座，建于玄宗开元十五年（公元727年），所以这4座小塔在北京现存各塔中堪称是最古的。
云居寺所在的白带山，因藏有石经而被称为石经山。据专家考证，隋朝大业年间，幽州高僧静琬为使佛教经典流传百世，提出以石刻经的保存办法。在他的倡导下，佛教徒们不畏艰辛，四处化缘集资，前后历经十六年代1039年，始得完成。共刻佛经4千部，约1700万字，用石片14278块。石片有大有小，大的长200厘米，宽70厘米，厚15厘米，重400公斤；小的长165厘米，宽70厘米，厚10厘米，重75公斤左右。石片有的一面刻字，有的两面都刻，字体工整。为了保存石经，在白带山半山腰绝壁上开凿了9个藏经洞，最大的是第5洞，叫华严堂，也叫雷音洞，俗称千佛殿。静琬最初刻经146块，都嵌在此洞内的四壁上。洞内有4根八面的主柱，柱上雕有佛偈1056尊，故称千佛柱。山上9洞藏满石经以后，又在寺内南塔基下地穴中收藏。现石经完好如初。
80年代初，在雷音洞中的五层石函中，发现了两粒大小如米粒、乳白色的佛舍利，距今已有1380年的历史。
如今，云居寺已经照原样重新修建，在这里一可看庙宇，二可看石经，三可看古塔，四可看石经山藏经洞。这里不但是具有古代佛教文化特色的风景旅游区，也是研究我国宗教史、美术史、雕刻及书法艺术的宝库。