Art Gallery ligger i parken Joubert, några kvarter från centralstationen i Johannesburg. Byggnaden ritades av den brittiske arkitekten Sir Edwin Lachensom och består av 15 utställningshallar, liksom flera utställningar i det fria till stora skulpturer. Hans arkiv är en samling av brittiska och holländska målning av XVIII-XIX århundraden, en samling av europeiska målningar av artonhundratalet, liksom en stor samling av samtida verk av sydafrikanska och internationella konstnärer.

Collector Dorothea Sarah Alexander Florence Phillips, hustru till gruvmagnaten Lionel Phillips bildade den första samlingen i galleriet på bekostnad av de medel som bidragit med sin make. Efter att ha flyttat till Johannesburg, började hon att ta bilder i syfte att skapa ett konstgalleri, som senare blev Johannesburg Art Gallery. Det förvärvade en samling av målningar av den brittiska konstnären och samlaren Sir Hugh Lane, ut i London 1910. Lady Phillips donerade sin samling av spets och övertalade sin man att förmedla till sju galleri av målningar och skulpturer av Rodin.

Insamlingen av galleriet finns verk av Auguste Rodin, Dante Gabriel Rossetti, Pablo Picasso, Camille Pissarro, Claude Monet, Edgar Degas, Herbert Ward och Henry Moore, liksom arbetet med sydafrikanska konstnärer - Gerard Sekot Walter Battissa, Alexis Preller, Maud Sumner, Sydney Kumalo och andra.

Johannesburg Art Gallery öppnades för allmänheten 1910 på campus vid University of the Witwatersrand. Arkitekten, Sir Edwin Lachens inbjudna Lady Phillips, kom till Sydafrika 1910 för att utforska området och börja uppförandet av byggnaden i galleriet. Men byggnaden var inte avslutat i enlighet med skisser av arkitekten. Fem år senare, med byggstart, byggnaden öppnade sina dörrar för allmänheten utan ceremonin, strax efter första världskriget.

I slutet av 1940-talet, var galleriet byggnaden förlängs i enlighet med utformningen av arkitekten Lachensa - byggd västra och östra flygeln av byggnaden. Den norra flygeln av galleriet med en modern fasad byggdes under den sista renoveringen av byggnaden i år 1986-1987.