Schwarzenegger egy Graz közeli kis stájer faluban, Thalban született. Édesapja Gustav Schwarzenegger rendőrfőnök (1907. augusztus 17. – 1972. december 1.), édesanyja pedig Aurelia Jadrny (1922. július 29. – 1998. augusztus 2.). A család, jó katolikusként, minden vasárnap templomba járt. Viszonylag nehéz körülmények között éltek.
Fiatalként Schwarzenegger – apja hatására – több sportot kipróbált, először 1960-ban fogott kezébe súlyzókat, amikor futballedzője csapattársaival együtt a helyi edzőterembe küldte. Arnold 14 évesen a futball helyett testépítéssel kezdett foglalkozni, majd egy grazi edzőtermet látogatott. Az itteni mozikban látott először olyan neves sportolókat, mint Reg Park, Steve Reeves és Johnny Weissmuller.
Előbb letöltötte egy év kötelező katonai szolgálatát az Osztrák Hadseregben, majd 1965 és 1980 között hétszer elnyerte a Mr. Olympia, és hatszor a Mr. Universe címet. (Csak két embernek sikerült többször (nyolcszor) felállnia a Mr. Olympia dobogója legfelső szintjére: Lee Haneynek és Ronnie Colemannak.)
Hazájában színészként és sportemberként nagy népszerűségnek örvendett, a grazi sportcsarnok is az ő nevét vette fel. Kaliforniai kormányzóként, Bush politikájának támogatójaként, és főképp a kivégzések kaliforniai engedélyezése miatt ausztriai népszerűsége csökkent.
