Der Name " Fürstenhäusle" bezieht sich auf den Konstanzer Domherrn und späteren Fürstbischof Jakob Fugger von Kirchberg und Weißenhorn, der das Gebäude als Gartenhaus bzw. als Weinberghaus um 1600 errichten ließ.