Petit Palais byggdes 1317. Det ligger i den norra delen av torget, framför residenset i Kyrkostaten, och kallas så på grund av sin ringa storlek och värde jämfört med Palace of Påvarna.

Berättelsen om hans utseende vag: enligt en version - det byggdes för en brorson av påven Johannes XXII, Arnaud de Via, å andra sidan - det byggdes av kardinal Bérengère F. Elder. Efter hans död, var slottet och skäl köptes av Kardinal Arnaud de Via. I 1335 dog Via De och palatset tillhörde någon fram till ankomsten av Benedictus XII, som köpte det igen och vände till det officiella residens för ärkebiskopen av Avignon.

Byggnaden var strängt skadad under perioden från 1396 med 1411. Eftersom det ansågs ett starkt fäste i Avignon påvar berikade. Efter utgången av fientligheterna, slottet småningom förföll. Under andra halvan av XV-talet, biskop Alain de Kotivi och hans efterträdare Giuliano della Rovere (som senare skulle bli påven Julius II) beslutat att återställa byggnaden och 1503 gav honom nästan ursprunglig form. Della Rovere anlände i Avignon i 1474, då han utsågs av sin farbror, Sixtus IV, biskopen i Avignon. Han tillade på de södra och västra fasader i italiensk renässansstil och 1487 uppfördes ett torn (senare, år 1767 den förstördes).

Under den franska revolutionen, blev egenskapen av staten, i XIX-talet var det en katolsk skola och senare en yrkesskola slottet. Först i slutet av XX-talet på territoriet i palatset har varit ett museum.

Sedan 1958 finns här museet av medeltiden. År 1976 var det öppnade ett konstgalleri av verk av mästare av renässansen. De 19 rummen på museet, i synnerhet arbetet med Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, även här är den berömda "Madonna" Botticelli.