最初发现这个石灰岩溶洞的是唐代著名文学家白居易、白行简和元稹。唐元和十三年(公元818年)，白居易由江州司马升任忠州刺史，元稹由通州司马调任虢州长史。第二年，白居易赴任时与其弟白行简同行。途中与元稹巧遇于夷陵(今宜昌)。在互相送别中，船停靠在西陵峡东口下牢溪。他们三人在长江岸壁上发现了这个风光绮丽的“胜境”。他们同游洞中，酒酣兴浓，各赋诗一首，并由白居易作《三游洞序》，写在洞壁上。三游洞因此而得名。人称这次聚游为“前三游”。
240年后，北宋著名文学家苏洵、苏轼、苏辙父子三人，从四川家乡到京师汴梁应试，途经夷陵，慕名游三游洞，也各题一首，人称“后三游”。宋代著名文学家欧阳修、黄庭坚、陆游等人也曾到这里游览，留下了吟咏三游洞的诗篇。如今洞中还保留有宋代以来壁刻、碑刻56件。
三游洞口藤蔓悬垂，犹如珠帘。洞室开阔，深约30米，宽20米，高6米多。洞中岩石起伏，千姿百态。有3根垂直平行横列的钟乳石柱，将洞隔成前后相通的两个洞室。前室明旷，后室幽奥。洞壁上有用楷、隶、行、草各种字体写成的诗文题记。在洞室右侧，还有个耳洞，人可匍匐出洞，可谓别有洞天。后室顶部有块圆形石，以石敲击，声如钟鸣；石子落地，又如鼓响，故有“天钟地鼓”之说。在洞深处，还有元稹、白居易、白行简三人的塑像。
在三游洞周围，还有至喜亭、张飞擂鼓台、陆游泉、观峡洞、峡口长廊等名胜古迹。至喜亭建于宋代。此亭名曰至喜，表达了胜利通过三峡的船民们的喜悦心情。站在至喜亭上，可远眺葛州坝水利枢纽工程雄姿，还可俯瞰长江和下牢溪景色。
陆游泉在三游洞下，是一口正方形小潭，长宽约1.5米，深近1米。潭水清澈见底，四季恒温，被称为“琼浆玉液”。宋代诗人陆游来此游览时，曾在此潭取水蒸茶，并赋诗一首，写在石壁上，故名“陆游泉”。
在三游洞山顶南侧，有一巨大圆形石峰耸立在大江之滨，突出水面数十米。这就是三国遗迹“张飞擂鼓台”。