Der Dossenberger Pfarrhof wurde 1773 im Auftrag von Abt Wilhelm Schoellhorn von Ursberg erbaut. Er diente einst als Sommerresidenz für die Äbte von Ursberg, sowie als Pfarrhof für die Billenhauser Seelsorger. Seinen Namen hat der Pfarrhof vom damaligen Baumeister Joseph Dossenberger d. Jüngeren.