1903 kaufte die jüdische Gemeinde von der Stadtgemeinde Horb das Grundstück an der Gemarkungsgrenze zu Mühlen und errichtete dort ihren Friedhof. Er liegt etwas oberhalb der Straße nach Mühlen auf der linken Seite. Eine kleine Leichenhalle nahe am Eingang wurde vermutlich 1938 zerstört. Auch wurden Namenstafeln zerschlagen, Grabsteine umgeworfen und vom Friedhof gestohlen.
Heute ist er im Besitz der Israelitischen Religionsgemeinschaft Württembergs. Die Pflicht zur Pflege und zum Unterhalt liegt bei der Stadt Horb. 2003 wurde auf dem Friedhof ein Gedenkstein aufgestellt, der an die jüdische Gemeinde in Horb und an die Ermordeten erinnert.
Anders als auf den wesentlich älteren jüdischen Friedhöfen in Horb findet man hier wenige Standsteine. Dem Zeitgeschmack entsprechend überwiegen schmucklose Granitsteine, oft in Obelisken- oder Stelenform. Auffällig sind die Doppelgräber für Ehepaare, die man sonst selten findet.
Bemerkenswert ist auch, dass die allermeisten der hier Begrabenen nicht in Horb geboren wurden, sondern aus den umliegenden Landgemeinden stammten.