Wann die jüdische Gemeinde in Rexingen gegründet wurde, ist nicht bekannt. Die erste urkundliche Erwähnung eines Juden in Rexingen hat man bisher in der Judenordnung der Grafschaft Hohenberg von 1516 gefunden. Die erste Synagoge wurde in der ersten Hälfte des 18. Jahrhunderts erbaut. Im 19. Jahrhundert wuchs die Gemeinde stark an und hatte um 1850 ihren höchsten Anteil (36%) an der Gesamtbevölkerung von 1132 Einwohnern. Rexingen war zu dieser Zeit ein rein katholisch-jüdisches Dorf.
Das stattliche Gebäude im neoklassizistischen Stil war nicht die erste Synagoge der schwäbischen Landgemeinde. Sie löste die zu klein und baufällig gewordene Synagoge aus dem 18. Jahrhundert ab. Mit großem Stolz wurde im August 1837 die „schönste Synagoge des Rabbinatsbezirks“ eingeweiht. 101 Jahre lang diente sie der Gemeinde als Gotteshaus. Nach der Schändung im November 1938 wurde sie für verschiedene Nutzungen missbraucht und 1952 als evangelische Kirche eingeweiht.
In Rexingen trifft man auf die außergewöhnliche Situation der Doppelnutzung einer ehemaligen Synagoge als Gedenkstätte und Kirche. Nach der Auslöschung der jüdischen Gemeinde in der Nazizeit war die Nutzung des im Inneren zerstörten Gebäudes nach 1945 zunächst unklar. 1952 wurde es der neu entstandenen evangelischen Gemeinde überlassen, die es für ihre Zwecke umbaute. 1997 gründete sich aus der Bürgerschaft der Träger- und Förderverein Ehemalige Synagoge Rexingen, um den Erhalt und die Restaurierung des Gebäudes sicherzustellen und die jüdische Geschichte des Dorfes zu erforschen und zu dokumentieren.