മസ്ജിദുല്‍ അഖ്‌സ്വാ നിര്‍മിച്ചത് ആരാണെന്ന കാര്യത്തില്‍ വ്യക്തതയില്ല. നബി(സ്വ)യും, നിര്‍മിച്ച കാലത്തെ കുറിച്ച് സൂചന നല്‍കുന്നുവെന്നല്ലാതെ നിര്‍മിച്ചയാളെ കുറിച്ച് പരാമര്‍ശിക്കുന്നില്ല.

"അബൂഹുറയ്‌റ(റ) ഒരിക്കല്‍ തിരുനബിയോട് ചോദിച്ചു, ഭൂമിയില്‍ നിര്‍മിക്കപ്പെട്ട പ്രഥമ ദൈവികഗേഹമേതാണെന്ന്. തിരുനബി പറഞ്ഞു: മസ്ജിദുല്‍ ഹറാം. പിന്നെ ഏതാണ് നബിയേ? അബൂഹുറയ്‌റ തുടര്‍ന്നു. നബിയുടെ മറുപടി: മസ്ജിദുല്‍ അഖ്‌സ്വാ. ഇവ രണ്ടിന്റെയും നിര്‍മാണത്തിലെ കാല വ്യത്യാസം എത്രയാണ്? അബൂഹുറയ്‌റക്ക് സംശയം. നബി(സ്വ): 40 വര്‍ഷം"(മുസ്‌ലിം 520).

ഇബ്‌നു ഹജറുല്‍ അസ്ഖലാനി, ആദം നബി(അ)യാണ് മസ്ജിദുല്‍ അഖ്‌സ്വാ നിര്‍മിച്ചതെന്ന പക്ഷക്കാരനാണ് (ഫത്ഹുല്‍ബാരി 6:402). 

ക്രിസ്തുവിന് 3000 വര്‍ഷങ്ങള്‍ക്കു മുമ്പ് കന്‍ആനികളാണ് ഖുദ്‌സ് പട്ടണം നിര്‍മിക്കുന്നത്. ഇവിടെയാണ് മസ്ജിദ് സ്ഥിതിചെയ്യുന്നത്. ബാബിലോണിലെ ഊര്‍ പട്ടണത്തില്‍നിന്ന് ഇബ്‌റാഹീം നബി(അ) ഖുദ്‌സിലേക്ക് എത്തി. ഇവിടെയെത്തിയ അദ്ദേഹം മസ്ജിദുല്‍ അഖ്‌സ്വാ പുനര്‍നിര്‍മിക്കുകയും അതില്‍ ആരാധനകള്‍ നിര്‍വഹിക്കുകയും ചെയ്തിരുന്നു. മകന്‍ ഇസ്ഹാഖിന്റെയും ഇസ്ഹാഖിന്റെ മകന്‍ യഅ്ഖൂബിന്റെ(അ)യും പിന്നീട് വരുന്ന ഇസ്‌റാഈല്‍ സന്താനപരമ്പരയുടെയും ജീവിതഗേഹം ഖുദ്‌സ് തന്നെയായിരുന്നു. അവര്‍ ആരാധനകള്‍ക്കായി ആശ്രയിച്ചിരുന്നത് മസ്ജിദുല്‍ അഖ്‌സ്വായെ ആയിരുന്നു. ഇബ്‌റാഹീം നബി, ലൂത്ത് നബി തുടങ്ങിയ പ്രവാചകന്മാരുടെ ഖബറിടങ്ങള്‍ ഖുദ്‌സിന്റെ പരിസരങ്ങളിലാണെന്ന് ചരിത്രകാരന്‍മാര്‍ പറയുന്നുമുണ്ട്.

വര്‍ഷങ്ങളോളം ഫറോവമാരുടെയും അമാലിഖുകളുടെയും ആധിപത്യത്തില്‍ കഴിഞ്ഞ ഖുദ്‌സിനെയും മസ്ജിദുല്‍ അഖ്‌സ്വായെയും ബി.സി. 995ല്‍ ദാവൂദ് നബി(അ)യാണ് തിരിച്ചുപിടിക്കുന്നത്. അദ്ദേഹവും പള്ളി നവീകരിച്ചു.

ദാവൂദ് നബി(അ)യുടെ മരണാനന്തരം ഭരണമേറ്റ സുലൈമാന്‍ നബി(അ) മസ്ജിദുല്‍ അഖ്‌സ്വക്ക് പുതുമോടി നല്‍കി. സുലൈമാന്‍ നബി(അ)യുടെ നിര്‍മാണത്തെ മുന്‍നിര്‍ത്തി യഹൂദികള്‍ ഇതിനെ 'ഹൈക്കല്‍ സുലൈമാനീ' എന്നും വിളിച്ചു.

സുലൈമാന്‍(അ)ന്റെ മരണശേഷം ഖുദ്‌സ് ബാബിലോണിയക്കാര്‍ കീഴടക്കുകയും മസ്ജിദ് അഗ്നിക്കിരയാക്കുകയും ചെയ്തു. ബി.സി.516 ല്‍ യഹൂദികള്‍ ഇത് രണ്ടും പുനര്‍നിര്‍മിച്ചു. മസ്ജിദുല്‍ അഖ്‌സ്വാ നിന്നിരുന്ന സ്ഥലം പിന്നീട് വര്‍ഷങ്ങളോളം കെട്ടിടങ്ങളില്ലാതെ അവശേഷിച്ചു. പിന്നീട് സക്കരിയ്യ, യഹ്‌യാ, ഈസാ നബി(അ)മാരുടെ കാലങ്ങളിലാണ് ഇത് ലളിതമായി പുനര്‍നിര്‍മിക്കപ്പെടുന്നത്.

പിന്നീട് റോമക്കാരും ബൈസന്റൈന്‍ സാമ്രാജ്യവും ഖുദ്‌സിനുമേല്‍ അധീശത്വം വാണു. യഹൂദരും ക്രൈസ്തവരും ദശാബ്ദങ്ങളോളം കൈവശംവെച്ച് ഇസ്‌ലാമിക ചിഹ്നങ്ങളെ നശിപ്പിച്ച ഖുദ്സും മസ്ജിദുല്‍ അഖ്‌സ്വായും ക്രി.വ 628ല്‍ ഖലീഫ ഉമറാ(റ)ണ് തിരിച്ചു പിടിക്കുന്നത്. ഉമര്‍(റ) നേരിട്ടുവന്ന് ഈലിയാക്കാരുമായി കരാര്‍ ഒപ്പുവച്ചുകൊണ്ടാണ് ഖുദ്‌സും മസ്ജിദും ഇസ്‌ലാമികാധിപത്യത്തിന്‍ കീഴിലേക്കു വന്നത്. അവിടെയെത്തിയ ഉമര്‍(റ) ആയിരം പേര്‍ക്ക് നമസ്‌കരിക്കാന്‍ സാധിക്കും വിധം പള്ളിയെ പുനര്‍നിര്‍മിക്കാന്‍ നിര്‍ദേശം നല്‍കി.

ഉമര്‍(റ) നിര്‍മിച്ച ഈ പള്ളിയെ ക്രി.വ. 661ല്‍ മുആവിയ(റ)യും വിസ്തൃതമാക്കി. മരത്തടിക്കു പകരം കല്ലുകള്‍ ഉപയോഗിച്ചു. 3000 പേരെ ഉള്‍ക്കൊള്ളാന്‍ മാത്രം വിശാലമായി അതോടെ മസ്ജിദുല്‍ അഖ്‌സ്വാ. 685ല്‍ അബ്ദുല്‍മലികുബ്‌നു മര്‍വാനും 715ല്‍ വലീദുബ്‌നു അബ്ദില്‍മലിക്കും പള്ളിയില്‍ വികസനങ്ങള്‍ നടത്തി. ഇതിനടുത്തു തന്നെ ഖുബ്ബത്തുസ്സഖ്‌റ(Dome Of The Rock) നിര്‍മിക്കുന്നതും അബ്ദുല്‍ മലിക്ക് ആണ്.

746, 774, 1033 വര്‍ഷങ്ങളില്‍ ഭൂമികുലുക്കം പള്ളിയെ സാരമായി ബാധിച്ചെങ്കിലും അതാതുകാലത്തെ ഭരണാധികാരികള്‍ പള്ളി പുനര്‍നിര്‍മിക്കുകയും വിശാലത വര്‍ധിപ്പിക്കുകയും ചെയ്തു.

1099ല്‍ കുരിശുപട മസ്ജിദുല്‍ അഖ്‌സ്വയെ കീഴടക്കി. അവര്‍ അതിനെ പൂര്‍ണമായും ക്രൈസ്തവവല്‍ക്കരിച്ചു. എന്നാല്‍ 90 വര്‍ഷത്തിനു ശേഷം സ്വലാഹുദ്ദീന്‍ അയ്യൂബി ഈ വിശുദ്ധഗേഹം അവരില്‍ നിന്ന് പിടിച്ചെടുക്കുകയും പള്ളിയാക്കി പരിവര്‍ത്തിപ്പിച്ചെടുക്കുകയും ചെയ്തു.

പിന്നീട് 1517ഓടെ ഉസ്മാനികളുടെ കൈയിലാണ് മസ്ജിദിന്റെ നിയന്ത്രണമെത്തിയത്. വാതിലുകളും ഖുബ്ബകളും ധാരാളം നിര്‍മിച്ച അവര്‍ പള്ളിയെ കാലാനുസൃതം മാറ്റിയെടുത്തു.