A la suite de son émigration de la Mecque à Médine en l'an 622 ap.J.C., le Messager de Dieu - Mohammad - se mit à bâtir la Mosquée de la Cité en briques sechées et en troncs de palmiers. A sa mort, le Prophète - que la paix et le salut de Dieu soient sur lui - fut inhumée dans la chambre même de son épouse Aicha, mère des croyants et fille d'Abi Bakr Al Siddiq - qu'ils soient agréés par Allah -.
Les premiers aménagements sous le règne des Califes bien guidés
Le premier agrandissement de la Mosquée eut lieu sous le règne de Calife Omar Ibn Al Khattab qui ajouta une portion de terrain à la Mosquée du côté nord et la reconstruisit. Quand le Calife Omar mourut, il fut enterré à côté des tombeaux du Prophète Mohammad et du Calife Abou Bakr Al Siddiq. Sous le règne du Calife Osman Ibn Affan, l'élargissement de la Mosquée semblait nécessaire et urgent. Il procéda alors, en 649-650 ap.J.C., à la réalisation de l'extension et de la reconstruction de la Mosquée.
A l'époque Omayyade
A son accession au Califat de l'Etat Omayyade, Al Walid Ibn Abdel Malek ordonna l'agrandissement et la reconstruction de la Mosquée. Les caractéristiques les plus importantes de cet agrandissement résident dans l'introduction de nouveaux éléments architecturaux tels que les terrasses, les minarets et le Mihrab creux dans le mur de la Quibla. C'était également le premier agrandissement à annexer les sépultures des mères des croyants à la Mosquée. La superficie de cette extension était d'environ 2.369 M².
A l'époque Abbaside
Sous le règne du Calife Abbaside Al Mahdi, la Mosquée fut étendue et reconstruite. Cependant, la plus importante rénovation de la Mosquée fut accomplie sous le règne des Mamelouks lorsque le Sultan Qaitbay ordonna la reconstruction de plusieurs parties.
De l'époque Ottomane à nos jours
Le Sultan Mahmoud II, en 1813 ap. J.C., fit construire un nouveau dôme dans la chambre prophétique en remplacement de celui de Qaitbay. Le nouveau dôme fut couvert de plomb et teint en vert. Le Sultan Ottoman Abdel Megid I fit reconstruire entièrement la Mosquée après l'avoir détruite à l'exception de la chambre prophétique. Cette construction qui comporta une extension sur une superficie de 1.293 m² était la dernière en date avant la première expansion saoudienne.
De nos jours...
Devant l'afflut des pélerins et les signes de fatigue de la Mosquée, le Souverain Saoudien Abdel Aziz lanca sa reconstruction et son extension en 1951. Conservant l'architecture ottomane du Sultan Abdel Megid, l'extension saoudienne (de 6.000 m²) porta la superficie totale à plus de 16.000 m².
Le Roi Fahd Ben Abdel Aziz posa le 29 octobre 1985 la première pierre d'une nouvelle extension. Avec une superficie de plus de 160.000 m², la Mosquée du Prophète peut accueillir 250.000 fidèles.