Sekolah Menengah Agama (P) Al Mashoor mula diasaskan atas kesedaran segolongan bangsa Arab di Pulau Pinang yang bimbang akan anak-anak yang kurang mendapat didikan agama. Pada tahun 1916 bersamaan tahun 1335H, suatu mesyuarat telah diadakan khusus mengenai penubuhan sebuah sekolah agama. Dengan usaha gigih dan semangat kerjasama semua pihak maka tertubuhlah sebuah sekolah agama yang dikenali dengan nama Madrasah Al-Quran di Lebuh Acheen (Masjid Melayu Pulau Pinang) dengan guru pertamanya Al-Syed Abdul Rahman Alhabshee dan guru besar pertamanya Al-Syed Al-Shaikh Al-Hadi. Madrasah ini terus mendapat sokongan yang menggalakkan dan pada tahun 1918 telah berpindah ke kawasan yang lebih besar di Kampung Jawa Lama, dengan nama Madrasah Al Mashoor Al-Islamiah sempena nama Tuan HAbib Al Mashoor, seorang penghulu yang terkenal di Pulau Pinang pada masa itu.
            Pada tahun 1920, Madrasah ini telah berpindah ke Lebuh Tek Soon di mana tapak sekolah adalah kepunyaan tuan Haji Bachik. Pada masa ini perkembangan sekolah berlaku dengan pesat sekali dan yuran sebanyak RM2 dikenakan kepada setiap pelajar. Semasa pemerintahan Jepun, Madrasah Al Mashoor telah ditutup selama 3 tahun 8 bulan dan dibuka kembali pada tahun 1945 setelah setelah British kembali ke Tanah Melayu. Usaha-usaha berterusan dijalankan untuk mendirikan bangunan baru bagi sekolah dan asrama untuk pelajar lelaki dan perempuan. Pada tahun 1957, sempena kunjungan YTM Tunku Abdul Rahman ke Madrasah Al Mashoor, beliau telah berjanji akan mendirikan bangunan baru bagi kedua-dua buah sekolah .
          Sebuah jawatankuasa binaan telah ditubuhkan dan mereka telah bekerja keras untuk penubuhan sekolah baru. Waris-waris Almarhum Tuan K.M.S Sultan Alaudin mewakafkan sekeping tanah dan rumah di Jalan Lunas bagi tapak sekolah perempuan. Pada tahun 1979 Kementerian Pelajaran telah mengambil alih Madrasah Al Mashoor lelaki dan perempuan dan telah mendirikan sebuah bangunan baru di Jalan Air Itam untuk pelajar lelaki. Selepas tiga tahun kerajaan mengambil alih SMKA (P) Al Mashoor, ada cadangan untuk membina bangunan baru bagi menggantikan bangunan lama yang telah uzur dan tidak dapat menampung bilangan pelajar yang semakin bertambah. Sementara menanti bangunan baru siap, pelajar-pelajar telah menumpang di SMKA (L) Al Mashoor dari tahun 1982 hingga tahun 1984. Pada bulan Oktober 1984 para pelajar perempuan mula berpindah ke bangunan baru dan tersergamlah bangunan Sekolah Menengah Kebangsaan Agama (Perempuan) Al Mashoor di Medan Lim Cheng Teik, Pulau Pinang.