飞来殿坐落在突兀的山岗上，地势高朗，土地干燥，空气流通。四周林木葱笼、岗峦起伏如城堞，云蒸霞蔚，气势磅礴。相传上古时这里是一马平川，在一个风雨交加，雷鸣电闪的夜晚，只听得惊天动地一声巨响，天亮以后，风停雨住，一殿巍峨壮观，出现在飞来岗上。自此风调雨顺，否去泰来，为祈求神灵，每年夏历正月初八，善男信女前往焚香化纸，络绎不绝。据县志和《峨眉伽兰记》记载，飞来殿原名“家庆楼”，咸通二年（公元816年）唐懿宗敕建，高30米，宽40米，制作工巧，刻镂精细，装饰金碧，甚为华丽。楼上四壁皆为唐人名画，一壁绘海棠一树，花叶繁茂，枝干错综，其余画飞虫、鸟类最多，栩栩如生，极富情趣。庙门高悬“家庆楼”，乃著名理学家魏鹤山书。暑往寒来，风雨剥蚀，兵燹不断，多半废圯，经元大德二年（公元1298年）到泰定元年（公无1324年）不断修葺，明崇祯八年（公元1635年）易名“飞来殿”，始为今貌。
四川境内由于气候潮湿，在历史上又屡遭兵燹火燎，像飞来殿这种现存宋元的木结构建筑，已极为罕见。