Der Name "Arch" geht vermutlich auf die Bedeutung "Befestigung des Flussufers gegen Erosion" zurück, wie im Bayerischen Wörterbuch von 1872 vermerkt; einer weiteren Theorie zufolge erinnert die von Westen betrachtete schiffsähnliche Form des Gebäudes an die Arche Noah.
Das Gebäude besteht aus mehreren Flügeln mit dreieckigem Grundriss. Die ältesten Teile, das westliche Gebäude an der Ecke Rote-Hahnen-Gasse sowie der westliche Nordflügel zum Haidplatz, stammen aus dem frühen 14. Jahrhundert; die ursprünglichen Ost- und Südteile dienten als Stallungen und Lagergebäude.
In der Spätgotik erfolgten erste Umbauten, in der Renaissance wurden die Arkaden im Innenhof ergänzt, im Barock entstand das Haupttreppenhaus zu den Obergeschossen, und im Jahr 1863 gab es größere bauliche Veränderungen, insbesondere an den Erdgeschossöffnungen. Eine Brunnennische im Innenhof trägt die Jahreszahl 1657. Der Frühstücksraum bewahrt ein gotisches Kreuzgewölbe aus der ursprünglichen, dem Heiligen Laurentius geweihten Kapelle.
Das Haus liegt an der Südseite des Haidplatzes, einem mittelalterlichen Markt- und Turnierplatz. Im 15. Jahrhundert gründete der damalige Eigentümer Stephan Notangst im Jahr 1419 die Bruderhaus-Stiftung zur Unterstützung mittelloser Handwerker; die Stiftung fusionierte 1445 mit einer weiteren Stiftung und diente bis zum Jahr 2004 als Altenwohnsitz.
Die Arch liegt zwar ein Stück von der Donau entfernt, doch floss einst der Vitusbach von Süden her durch die Rote-Hahnen-Gasse; sein ursprünglicher Verlauf ist bis heute an der Biegung der Gasse und der Baulinie der Häuser bis zum Haidplatz erkennbar. Überliefert ist zudem der historische Berufszweig des Archers, der sich um den Uferbereich eines fließenden Gewässers kümmerte und dafür sorgte, dass sich dort kein Unrat ansammelte.