石层峰北瀑布出水处有一岩洞，可容三五人，叫祠宇观，又名白水宫，即白公诵经问神之所。传说，东汉时，有下邳人刘纲，原为上虞县令，后因喜爱四明山水，便弃官偕夫人樊云翘，拜白公为师，向他学道炼丹。刘、樊二人在学道过程中，常比道术；刘纲作火烧礁屋，夫人禁之则灭；庭中有桃树两枝，各咒一树，使之相斗，刘纲所咒之桃不胜，走出篱外；刘纲唾痰盘中成鲤鱼，夫人唾痰成水獭吃掉鲤鱼；刘纲与夫人上四明山遇虎，刘纲禁虎不动，夫人则绳击虎头而摔回床边。最后得道仙时，白公也脚踏祥云来到大岗，口称“尔等夫妇道心精诚，心地善良，已成正果”，说完，刘、樊二人在大岗山顶，白日升仙。刘纲先上皂荚树而上天，夫人则平坐云气，冉冉飞举。传说虽然离奇，但足见此处山水灵秀。
