位于香港新界元朗厦村西侧之灵渡山（大头山）上，与杯渡山相对。创建年代不详，仅知宋、明两代尝加修建，清道光二十年（1840）迁至现址重建，咸丰十一年（1861）改建，民国十一年（1922）重修。
据广东考古辑要‘释老篇’及宝安县志‘人物略’载，于南北朝宋文帝元嘉初年，杯渡禅师以杯渡海，驻锡屯门山（即杯渡山），后迁驻屯门山数里外之小山，称为灵渡山，山中有寺，即灵渡寺。