潭柘寺建筑布局严整，规模宏大，分东、中、西三路。中路有山门、天王殿、大雄宝殿、斋堂和毗卢阁。东路有方丈院、延清阁和行宫院。西路有楞严坛、戒坛、观音殿和一些经院。山门外还有安乐堂和上下塔院。塔院内有71座金代以来和尚墓塔，还有11株娑罗树。
潭柘寺坐北朝南。最南面的一座巨大木牌坊是三间四柱三楼形制，顶上是黄琉璃瓦。檐下有斗拱装饰，木结构全部彩绘，前额上的金字是“翠峰丹泉”，后额上为“香林净土”，为康熙帝御笔。山门前有一横跨在深涧之上的单孔石拱桥，名叫”怀远桥”。山门是砖石结构，面阔3间，每间有券门，券脸是汉白玉石雕花，正中石额上有康熙书写的“救建岫云禅寺”，山门两侧为红院墙，蓝琉璃瓦顶。
山门里的建筑由于地势缘故，一座比一座高。全寺最高建筑是大雄宝殿，重檐底殿顶，正脊两端有一巨形碧绿琉璃鸥吻，传说是龙生九子之一，放置屋脊，可免水火之灾。此鸥吻是元代遗物，现在北京地区颇为少见。
大雄宝殿后三圣殿两侧有两株巨大的银杏树，东边一棵高达几十米，树冠浓荫遮盖了大半个庭院。树干要数人牵着手才能合抱过来，相传是辽代种植的，距今已千余年。乾隆为两株银杏树题名，东为“帝王树”，西为“配王树”。传说清代每个皇帝登基，树根都生出一新技，后与丰干合拢。这两株银杏树都是雄株，不生果．东侧行宫院内两棵是雌株。
寺中天王殿前有一口铜锅，直径1．85米，深1．1米，和尚们用之炒菜。此锅原在东跨院内。现在那里有一口更大的锅，直径4米，深2米。一次煮粥能放十石米，需16小时才能煮熟。这两口锅都有“漏砂不漏米”之说，锅底有“容砂器”，搅粥时砂石沉入锅底凹陷处。
塔院在寺院的前方。院内的71座和尚墓塔是辽、金、明、清各代建造的。塔的形状有密植式、覆体式等，多数是密檐式塔，有高有低，全部为砖石结构，这里可称集各时代墓塔之大观．北京地区唯一的塔林。
潭柘寺的地理环境极好，八面环山，九螃拥立，寺前山峰就像一座巨大的屏风。正如当地人所说：“潭柘寺前有照。后有靠，左右有抱”。这里于1957年被列为第一批市级文物保护单位。