Aufgrund der Beschlüsse der Potsdamer Konferenz vom August 1945 kamen sehr viele Heimatvertriebene nach Schwaigern. Die meisten davon waren katholisch und sie suchten nach Räumlichkeiten, um ihren Glauben leben zu können. Das gräfliche Haus „von Neipperg“ hatte zwar 1514 – 1520 die Stadtkirche erbaut und wurde im Zuge der Reformation ebenfalls evangelisch. 1717 jedoch konvertierten sie zurück zum katholischen Glauben und erbauten 1850 die Schlosskapelle. Diese diente zusammen mit der Friedhofskapelle bis 1964 den Schwaigerner Katholiken als Gotteshaus. Mit der Zahl der Einwohner stieg in Schwaigern auch die Zahl der Katholiken und deshalb suchte die kath. Kirchengemeinde nach Möglichkeiten eine eigene Kirche zu bauen. 
Dank der großzügigen gräflichen Unterstützung, der Hilfe durch die Diözöse Rottenburg konnte man dann im Jahr 1964 die Martinskirche einweihen.