IOC havde tildelt legene til Berlin i 1931 uden nogen anelse om det Adolf Hitler skulle tage magten i Tyskland to år senere. I 1936 havde nazisterne kontrol over Tyskland og var allerede begyndt at gennemføre deres racistiske politikker. Der var international debat om, hvorvidt 1936-OL i Nazi-Tyskland skal boikottes. De Forenede Stater var ekstremt tæt på at boykotte, men besluttede i sidste øjeblik at acceptere invitationen til at deltage.
Nazisterne så begivenheden som en måde at fremme deres ideologi på. De byggede fire storslåede stadioner, svømmebassiner, et udendørs teater, en polobane og en olympisk landsby, der havde 150 hytter til de mandlige atleter. I løbet af legene blev det olympiske kompleks dækket af nazistiske bannere. Leni Riefenstahl, en berømt nazistisk propagandafilmskaber, filmet disse olympiske lege og gjorde dem til hendes film Olympia.
Jesse Owens, en sort atlet fra De Forenede Stater, var stjernen i de olympiske lege i 1936. Owens, "Tan Cyclone", bragte fire guldmedaljer hjem: 100-meter-stregen, langhoppet (lavede en olympisk rekord), 200-meter sprinten rundt om en sving (lavet verdensrekord), og en del af holdet til 400-meteren relæ.
Cirka 4.000 atleter deltog, hvilket repræsenterede 49 lande.