位于龙门东山，坐落在面临伊水的半山腰上。因该地产香葛，故名香山。唐代诗人白居易曾说：“龙门十寺，观游之胜，香山首焉。”该寺始建于北魏熙平元年（516年）。武周天授元年（690年），梁王武三思奏请武则天予以重修，正式命名为“香山寺”。当时，这里为唐时日照三藏法师墓地，重修后“危楼切汉，飞阁凌霄，石像七龛，浮图八角”。唐太和三年（829年），白居易来洛阳任河南尹。太和六年（832年），白居易为他的密友元稹写墓志文，得酬金六七十万，用这笔私款发愿修香山寺，并亲自撰写了《修香山寺记》一文，名人名山名寺，相得益彰，使寺名大振。白居易还把自己在洛阳所写的800首诗，合为十卷《白氏洛中集》，存放在香山寺藏经堂内。白居易常住寺内，自号“香山居士”。他曾与香山寺的和尚如满结为香火社。后来他与当时的九位故吏遗老结成“九老会”。他们终日在洛阳履道里白居易家中饮酒作乐，亦常同游香山寺，在这里饮酒赋诗，故称“香山九老”。白居易去世于唐会昌六年（846年），家人遵嘱将他葬于香山寺附近如满法师塔之侧。后历经增建维修，北宋时该寺依然完好。欧阳修等有游咏之诗。金代元好问诗载：“人言无僧久，草满不复刈。”到元代，萨天锡《龙门记》曰：“旧有八寺无一存。”
　　现存的香山寺，是清代康熙四十七年（1708年）凿石为基，依山修建的。寺前有亭五间，为香山九老墓，现已倾圮；循山而上，为卷棚三间，次为大佛殿三间，殿旁有石塔三座；殿后为白公乐天祠，内有清代翰林学士汪士均写的《白居易修香山寺记》刻于屏间，还有《香山九老图》等。祠后有观音堂，今已倾倒，柱础尚存。乾隆十五年（1750年）九月，清高宗（弘历）到嵩山祭祀中岳庙路过龙门时，曾登游香山寺，并赋诗二首，刻在石碑上，特设亭保护，称为御碑亭。可惜历代香山寺的建筑在清末遭到毁废，现在的建筑多为解放后重新建设和修葺。寺内南侧的两层楼房，系民国25年（1936年）特为蒋介石和宋美龄在洛阳避暑而建筑的。楼西南建衣钵塔一座，为清香山寺开山祖师住持僧履么寿塔。到香山寺不仅可以观赏文物古迹，还可以眺望西山石窟全景和壮丽的龙门山色。