Wenn ältere Horber Einwohner von der „Synagoge“ sprechen, meinen sie den ehemaligen Betsaal der Horber jüdischen Gemeinde. Er hatte seinen Platz seit dem Ende des 19. Jahrhunderts bis zu seiner Zerstörung im November 1938 in einem Wohnhaus vor dem Ihlinger Tor an der alten Straße nach Ihlingen. Heute ist das Haus renoviert und der Betsaal im ersten Stock zu einer Gedenkstätte und einem kleinen Museum geworden. Eigentümerin ist die Förderstiftung Jüdischer Betsaal Horb unter dem Dach des Träger- und Fördervereins Ehemalige Synagoge Rexingen. Wie früher wird das Haus in den oberen Stockwerken als Wohnhaus genutzt.
Das Baujahr des Hauses mit der markanten Fassade in der Fürstabt-Gerbert-Straße 2 ist nicht bekannt. Es wurde ursprünglich wohl einmal als Scheuer erbaut und erlebte viele Umbauten und verschiedene Nutzungen. Es war Fuhrmannshaus, Gastwirtschaft, Betsaal der jüdischen Gemeinde, und seit dem Umbau 1939 wurde es als reines Wohnhaus genutzt.
Während der Nutzung als Betsaal dienten die beiden großen Räume im Hochparterre als Männerabteilung und Frauenabteilung, die mit einem Durchgang verbunden waren.
Unter den sechs jüdischen Gemeinden im heutigen Stadtgebiet von Horb war die Horber Gemeinde die jüngste. Im 19. Jahrhundert erhielten die Juden in Württemberg allmählich die gleichen Bürgerrechte wie die Christen. Nun durften sie ihren Wohnort und ihren Beruf frei wählen. Viele Familien nutzen die neuen Rechte und zogen in der zweiten Hälfte des 19. Jahrhunderts aus den Dörfern in die Städte. Horb lag an einem Eisenbahnknotenpunkt und bot als aufstrebende Beamtenstadt für die jüdischen Händler gute Entwicklungsmöglichkeiten.