De naam van dit gasthuis is ontleend aan Antonius van Padua, die het armoede-ideaal van Franciscus van Assisi aanhing. Zelf geconfronteerd met een grote armoede onder haar burgers en met wat grond en bouwmateriaal voor handen, besloot het stadsbestuur deze populaire volksheilige te eren. Het bood de “oude borgeren en ingesetenen deser stadt” onderdak in een nieuw te bouwen gasthuis.

Als basis diende het kasteel van de Oostfriese graaf Edzard, dat kort tevoren aan de overkant was afgebroken. Het houten geraamte van de “Cancelarije”, de schrijfkamer en bibliotheek, werd in 1517 “bij staende warck over de straete” gebracht. Niet alleen arme bejaarden, maar later ook pestlijders (1608-1644) en geesteszieken (1702-1844) vonden onderdak in het St. Anthonygasthuis. De ligging zo vlak achter de Oosterpoort was hier niet vreemd aan. Deze mensen had men liever niet al te dicht in de buurt en huisvestte men daarom bij voorkeur aan de rand van de stad.

Het Peper- en het Pelstergasthuis wisten in 1698 met succes de geesteszieken buiten de deur te zetten en de status van dolhuis aan het Anthonygasthuis over te dragen. Voor dit gasthuis was het best lucratief, want het kostgeld van de patiënten vormde een niet onaanzienlijk deel van de inkomsten. Op zondagmiddag vormden de patiënten bovendien een toeristische attractie, die veel bekijks trok. De opheffing van het dolhuis in 1844 betekende dan ook een gevoelige klap en er moest een grote inzameling onder de bevolking aan te pas komen om in 1851 het gasthuis open te houden.

Het St. Anthonygasthuis heeft in de loop der eeuwen vele verbouwingen en renovaties doorgemaakt, getuige de verschillende gevelstenen. De ingrijpendste vond in 1695 plaats, toen vanwege een verbreding van de vestingwerken een deel van het gasthuis gesloopt en een poort verplaatst werd.