Nicolaas Jacobus Smit is op 30 Mei 1837 op die plaas Doornbos in die distrik Graaff-Reinet gebore, die oudste kind van Nicolaas Jacobus en  Elizabeth Magdalena, gebore van der Merwe. Die gesin trek in 1840 na Natal, maar ná hierdie Boererepubliek deur Engeland geannekseer word, vestig hulle hulle in die Wes-Transvaal. Hier lê Nicolaas snr. die plaas Leliefontein in die latere distrik Ventersdorp aan. Die jong Nicolaas het al op die ouderdom van veertien op kommando gegaan, aangesien hy hom toe reeds as ruiter en skut onderskei het. Hy neem deel aan strafekspedisies teen opstandige swartstamhoofde, waaronder Setshele (in 1852), Makapan (in 1854), en Mapela (in 1858). Dit was tydens die stormloop op laasgenoemde se bergvesting in die Noord-Transvaal waar hy in die linkeroor geskiet is. Sy oordrom het gebars, en hy sou later blind in sy linkeroog word.

Hy trou in April 1861 met Hendrika Stephina Pretorius, ’n huwelik waaruit drie seuns en twee dogters gebore word. In 1864 word Smit verkies as veldkornet vir die wyk Mooirivier in die distrik Potchefstroom, en hy gaan in hierdie hoedanigheid op kommando in die Katlagter- en Matshemveldtogte in 1867-1868. In 1873 verhuis na die distrik Ermelo, waar hy die plaas Goedehoop gekoop. Tydens die Sekhukhune-oorlog in 1876 word hy deur president Burgers aangestel as luitenant-generaal van die westelike magte, en behaal hy by Maseloonskraal en Mathebiskop oorwinnings. Na die mislukking van die oorlog as sodanig keer Smit na sy plaas terug en wy hom aan sy boerdery.

Met die uitbreek van die Eerste Vryheidsoorlog in Desember 1880 sou Niklaas Smit die geleentheid kry om sy krygsvernuf en leierseienskappe op ongeëwenaarde wyse aan die wêreld te openbaar. As veggeneraal dien hy die Britse magte onder generaal George Pomeroy Colley op 8 Februarie 1881 ’n gevoelige slag by Schuinshoogte in Natal toe. Colley sou ’n paar dae later gedurende die Saterdagnag van 26 Februarie 1881 die Majubaberg in besit neem. Sondagmôre beveel kommandant-generaal Piet Joubert vir Smit om die Engelse van die berg af te haal. Smit se bekende wekroep “Die wat nie lafaards is nie, volg my!” het tot gevolg dat ongeveer 200 man hom volg tydens die bestorming van Die Berg van die Duiwe. Die slag was teen elfuur die oggend gelewer, met 134 van die vyand gewond en 92 dood, waaronder Colley self. Vyf Boere is gewond, en slegs een is aan die dood afgestaan.

Na die oorlog word Smit verkies as volksraadslid vir Middelburg, en hy word op 9 Mei 1882 ingesweer. Hy vergesel president Paul Kruger in 1883 en 1884 as lid van die Transvaalse Deputasie na Engeland. Die doel van die Deputasie was om die “Susereiniteitskwessie” insake die Transvaalse buitelandse beleid opgehef te kry, sowel as om ’n skikking te bereik oor die Transvaalse wesgrens en die staatskuld te verminder. Smit is dan ook ’n ondertekenaar van die Londense Konvensie van 1884. Die Deputasie word na ’n suksesvolle tog deur Europa op 15 Julie 1884 feestelik in Pretoria ontvang.

Buiten as lid vir Ermelo is Smit in 1885 ook tydelike voorsitter van die Volksraad, en in 1886 is hy permanente voorsitter. In Junie 1887 word hy verkies as vise-president, en word hy ook lid van die Uitvoerende Raad. Hy sou tydens sy politieke loopbaan op verskeie regeringskommissies dien, waaronder dié oor die Barbertonse Goudvelde (1886), Opleidingsregulasies vir Aptekers (1887), Die inlywing van die Nieuwe Republiek by die Suid-Afrikaanse Republiek (1888), sowel as dié oor die Pretoria-Delagoabaai-spoorlyn en verskeie met betrekking tot Swaziland. Smit is ook stigter van die eerste Landbouvereniging in 1892 en kurator van die Staatsgymnasium.

Generaal Niklaas Smit is in sy huis op Pretoria oorlede op die betreklike jong ouderdom van 58. Hy ontvang ’n staatsbegrafnis op 5 April 1896, en word in die Heldeakker ter ruste gelê. Tydens sy leeftyd het hy ook die aansien van die buitewêreld verwerf. Portugal maak hom Kommandeur van die Orde van die Onbevlekte Ontvangenis, die Nederlanders maak hom Kommandeur van die Orde van die Nederlandse Leeu, en Pruise maak hom Ridder van die Rooi Adelaar. Alhoewel hy geen formele skoolopleiding ontvang het nie, het Smit ’n belangrike bydrae gelewer om die Transvaal se aansien en welvaart tot op die hoogste vlak te ontwikkel. Hy was vatbaar vir oortuiging, en ’n goeie spreker in die Raadsaal. As krygsman was hy ’n briljante bevelvoerder en dapperste onder die dapperstes.