I en alder af 39 blev Joe Clark Canadas yngste premierminister i 1979. En finanspolitisk konservativ, Joe Clark, og hans mindretalsregering blev besejret efter kun ni måneders magt på en ikke-tillidsbevægelse om et budget med skatteforøgelser og programnedskæringer.
Efter at have tabt valget i 1980 forblev Joe Clark som oppositionsleder. Da Brian Mulroney overtog som leder af det progressive konservative parti i Canada i 1983 og derefter premierminister Minister i 1984 fortsatte Joe Clark som en effektiv minister for eksterne forbindelser og minister for konstitutionel Anliggender. Joe Clark forlod politik i 1993 for at arbejde som en international erhvervskonsulent, men vendte tilbage som leder af det progressive konservative parti fra 1998 til 2003.
Joe Clark begyndte sin politiske karriere som direktør for organisationen for Alberta Progressive Conservative Party fra 1966 til 1967. Han var særlig assistent for et konservativt parlamentsmedlem Davie Fulton i 1967. Han fungerede som eksekutivassistent for et konservativt parlamentsmedlem Robert Stanfield fra 1967 til 1970.
Joe Clark blev først valgt til Underhuset i 1972. Han blev valgt som leder af det progressive konservative parti i Canada i 1976 og var leder af oppositionen indtil 1979. Joe Clark blev edsvoret ind som premierminister i Canada efter valget i 1979.
Den konservative regering blev besejret i 1980. Joe Clark var igen leder af oppositionen fra 1890 til 1983. Joe Clark kaldte et Progressive Conservative Partys lederskabskonvention og mistede partiledelsen til Brian Mulroney i 1983.
I Mulroney-regeringen tjente Joe Clark som minister for eksterne anliggender fra 1984 til 1991. Han var præsident for Privy Council og minister ansvarlig for forfatningsspørgsmål fra 1991 til 1993. Joe Clark spillede ikke ved valget i 1993.
Joe Clark vendte tilbage som leder af det progressive konservative parti i Canada i 1998. Han blev genvalgt til Underhuset i 2000. I 2002 sagde Joe Clark, at han havde båret det progressive konservative parti så vidt han kunne. Joe Clarks fratræden som leder af det progressive konservative parti var effektiv ved lederkonventionen i maj 2003.