Inca de la inceputurile sale situl a fost un sanctuar, cu o populatie permanenta limitata la preotii templului. La inceput jocurile aveau loc in incinta sacra, Altisul dreptunghiular si inconjurat de ziduri, dar pe masura ce evenimentele au devenit mai sofisticate a fost construit un nou stadion alaturi de sit. Sanctuarul, cunoscut sub numele de Altis, consta dintr-un aranjament neordonat de mai multe cladiri. Cladirile din interiorul Temenos sunt Templul lui Hera si Templul lui Zeus, Pelopion si zona altarului, unde se faceau sacrificii. Hipodromul si stadion de mai tarziu erau de asemenea pe partea de est.



Pe stanga, dincolo de niste bai romane, se afla Prytaneion si Philippeion, precum si o serie de trezorerii reprezentand diferite orase-stat. Metroon se afla la sud de aceste trezorerii, cu Stoa Ecoului spre est. La sud de sanctuar se afla Stoa de Sud si Bouleuterion, in timp ce partea de vest adaposteste Palaestra (scoala de lupte), folosite de catre concurenti in timpul lunii obligatorii de pregatiri dinaintea jocurilor, atelierul lui Pheidias, gimnaziul si Leonidaion, o pensiune incapatoare si fara indoiala de lux, utilata pentru cei mai importanti oaspeti ai festivalului.



Olimpia este cunoscuta de asemenea pentru uriasa statuie de aur si fildes a lui Zeus, care se afla aici, fiind sculptata de Pheidias, si care a fost numita una dintre cele sapte minuni ale lumii antice de catre Antipater din Sidon. Foarte aproape de Templul lui Zeus, care a gazduit aceasta statuie, studioul lui Pheidias a fost excavat in anii 1950. Dovezile gasite acolo, precum ar fi instrumentele sculptorului, confirma aceasta teorie. Ruinele antice se afla la nord de raul Alfeios si Muntel Kronos (denumit dupa zeul grec Cronos). Kladeos, un afluent al raului Alfeios, curge in jurul zonei.