Die Neippergsche Grundherrschaft erstellte im Jahre 1659 die Stadtkelter. 
Zu der Zeit mussten die Bauern noch den „Weinzehnten“ an die Herrschaft abliefern. 1684 wurde noch erwähnt, dass alljährlich der Bürgerschaft bei Beginn der Weinlese die sog. Herbstordnung in einer öffentlichen Pflichtversammlung durch den Schultheißen vorgelesen wurde. Die Herrschaft übte großen Einfluss auf die Erzeugung qualitativ guten Weines aus. Von ihr wurden z.B. die Rebsortenanpflanzungen und der Lesebeginn bestimmt.

1852 erwarb die Stadt die Kelter für 2.000 Gulden von der Grundherrschaft. Die Presse wurde während des Herbstes von Kelterknechten bedient. Dies waren in der Regel Zimmerleute; sie schnitzten jedes Jahr, außer 1797, die jeweiligen Weinpreise ein. Die alten Baumpressen der Kelter wurden nach 1918 nach und nach abgebaut und durch hydraulische Pressen ersetzt. Eine dieser Baumpressen wurde in Heilbronn vor der Stadtkelter zur Schau gestellt, aber leider durch den Luftangriff am 4.12.1944 zerstört.  

Ende des 18. Jahrhunderts ging der Weinbau rapide zurück. Die Abgaben an die Grundherren stiegen enorm, Importweine waren billiger und neue Genussmittel, wie Tabak, Tee, Kaffee kamen als Konkurrenz hinzu. 

Immanuel Dornfeld, der Gründer der Weinbauschule in Weinsberg, prangerte 1860 das Kaffeetrinken und das Tabakrauchen an:

„Überhaupt scheint, besonders durch den häufigen Genuss des Kaffees und das viele Tabakrauchen unser Nervensystem nach und nach so geschwächt zu werden, dass manche den regelmäßigen Genuss des Weines gar nicht mehr ertragen können, und durch das viele nicht aufheiternde, sondern mehr betäubende Biertrinken will sich auch unser geselliger, fröhlicher und heiterer schwäbischer Charakter verändern.“

In der Mitte des 19. Jahrhunderts, nach Aufhebung des Kelterbannes und Ablösung des Zehnten entstanden die ersten Weingärtner-Genossenschaften. Doch in Schwaigern dauerte es bis zum Jahr 1925, bis die Weingärtner-Genossenschaft Schwaigern gegründet wurde. Den ersten Keller stellte die Familie Neipperg  zur Verfügung bis im Jahr 1950 die neue Kelter im Grat, östlich des Schlossgartens eingeweiht werden konnte. 

Nach Fusionen mit den Genossenschaften aus Kleingartach (1968) und Großgartach (1971) wurde auch diese Kelter zu klein und so zog man 1973 in den Neubau in der Neipperger Strasse um. 

Doch auch die 1659 erbaute alte Stadtkelter hat eine wechselvolle Geschichte hinter sich.  Bis in die 80er Jahre des vergangenen Jahrhunderts wurde dort immer noch Most gepresst. Ab 1991 fungierte sie dann als Lebensmittelmarkt, bevor sie dann 2010 von Grund auf renoviert wurde.

Heute beherbergt die Kelter die Städt. Mediathek, den Bürgersaal und das Karl-Wagenplast-Museum des Heimatvereins Schwaigern e.V.