Eftersom den ursprungliga kyrkan låg relativt långt från Nässjö tätort fattades under 1900-talets början beslut om att uppföra en helt ny kyrka på en höjd nordöst om Nässjö centrum. Som arkitekt för nybyggnaden anlitades arkitektkontoret Hagström & Ekman. Kyrkan uppfördes i rött tegel i nygotisk stil och invigdes den 19 december 1909 av biskop N.J.O.H. Lindström, Växjö. När nya kyrkan tagits i bruk fick den tidigare 1700-talskyrkan benämningen Nässjö gamla kyrka.
Den nya kyrkobyggnaden är en hallkyrka och består av ett långhus med rundformat kor i öster. Vid norra långsidan ligger sakristian och ett kapell med namnet Sankt Markus kapell. Två torn är uppförda vid västra långsidan, ett mindre och ett större. Det större tornet är i likhet med långhusets gavlar försett med trappgavlar och en hög spira i typisk Helgo Zettervall-stil. Det verkar som om dennes verk, exempelvis Allhelgonakyrkan i Lund, inspirerat arkitekten. Det mindre tornet avslutas också med en spira men är inte prytt med trappgavlar. I det större tornet finns vapenhuset. Intill kyrkan ligger församlingshemmet, Mariagården, som är förbundet med kyrkan genom en gång.