据文献记载，这里曾经山清水秀，鸟语花香，山的样子又很象印度的香山。东汉光和三年，来华传教的印度贵霜王朝僧人支法度，巡游到此，感应颇深，留恋忘返，于次年在这里建起了“香山精舍”，坐禅修道，并把火珠山改名为香山。到了西晋元康初年（公元291年——295年），“香山精舍”更名为“香山菩萨寺”，简称香山寺。据考证，这是中国最早的香山寺，后来，发展成为规模宏大的“香山普门禅寺”，被誉为“中原名刹”，距今已经有1800多年的历史。
