古琴台又名伯牙台、碎琴台。相传春秋战国时期，楚国音乐家俞伯牙擅长弹琴，技艺高超，作有“水仙操”、“高山流水”等名曲。他弹琴时，就连吃草的马也停止进食而仰起了脖子，一个中秋之夜，俞伯牙泊舟汉阳，面对皓月即兴抚琴，只见一樵夫打扮的人正在聆听。这人就是汉阳钟家庄的名士钟子期；伯牙抚琴，意在高山，子期就说：“美哉!峨峨乎若泰山。”伯牙抚琴，志在流水，子期又说：“美哉!洋洋乎若江河”。伯牙大喜，连声惊叹：“相识满天下，知音能几人！”于是二人结为挚友，并约定来年中秋再会。谁知第二年中秋俞伯牙再游汉阳时，钟子期已因病而亡，伯牙悲痛欲绝。他在子期墓前哭奏一曲“高山流水”，以悼知己。之后，遂割断琴弦，摔碎瑶琴，从此终身不再弹奏。这就是“俞伯牙摔琴谢知音”的故事。古琴台就是伯牙鼓琴、子期听琴、伯牙碎琴之处。古琴台所在山丘就叫碎琴山，琴台附近的钟家村如今已成为繁华的闹市区。
琴台建于何时，其说不一。据记载北宋时已有之。南北朝时梁简文帝就曾写有《登琴台》一诗。明万历年间，曾对琴台进行大规模修建。今日古琴台占地1公顷，有绿地假山、水池花坛、亭台廊馆，朴素典雅，自成院落。绿色琉璃大门上，额书“古琴台”三字。院内“印心石屋”别具特色。在琴台碑廊内，保存有“汉上琴台之铭并序”、“伯牙事考”等珍贵石碑。其中清代书法家宋湘的《琴台题壁诗》最为奇绝。宋湘为清代湖北督粮道台，他在1821年深秋游琴台时诗兴大发，欲题诗却未带纸笔，只得用竹叶蘸墨在壁上一挥而就，故称“竹叶书”。其碑文、书法和携刻均属上乘。
过碑廊，一栋单檐歇山顶式加抱厦的殿堂巍然矗立，四周回廊，朱棂画栋，富丽堂皇。檐下悬有宋湘所书“高山流水”的匾额。堂前汉白玉方台上立有一块石碑，高两米，正面刻书“琴台”两个金字，背刻《琴台简介》。这便是俞伯牙鼓琴之处。石台四周围栏上刻有“伯牙摔琴谢知音”的浮雕。几年前新落成的一座“俞伯牙抚琴遇知音”的雕塑，以现代雕塑的表现手法，生动再现了两千多年前的古老故事。
“人以文传，地以人传”，古琴台已中外闻名，而“高山流水”也成为友谊深厚的象征，知音成为心心相印的朋友的代名词。