In de 13e eeuw bestond er in Baardwijk een parochie met een bakstenen parochiekerk. Van deze kerk aan de Winterdijk is alleen De Oude Toren bewaard gebleven. Omdat Baardwijk in het graafschap Holland lag, is er een protestantse gemeente gesticht, de officiële godsdienst. De kerk van Baardwijk ging over in protestantse handen. Rooms-katholieken kerkten in 1637 in de huiskapel van de heer van Baardwijk en later in een schuil- of schuurkerk. Tot 1911 blijft de kerk voortbestaan als Nederlands Hervormde Kerk. Wegens bouwvalligheid kon men de kerk niet meer behouden en werd besloten een nieuwe kerk op een nieuwe plek te bouwen. Het schip van de oude kerk is vervolgens gesloopt en de toren behouden. De protestantse kerkgemeente heeft een eigen begraafplaats aan de Torenstraat, direct onder de Oude Toren.