Sønn av handelsmann Østen Olsen Kolstø og Ingeborg Nielsdatter. Utdannet ved Knud Bergsliens malerskole og Den Kongelige Tegneskole 1876–77 og elev fem år ved kunstakademiet i München 1877–82. Kolstø vokste opp i Haugesund, og Vestlandets natur og folk fikk stor betydning for hans kunst. Når han senere i livet var bosatt andre steder, reiste han svært ofte tilbake til Vestlandet om sommeren, og hentet inspirasjon og motiver fra kystbefolkningens hverdag, og fra naturen. I 1881 malte han et stort bilde fra Bergens fisketorg, et bilde som er gått tapt, men han malte også en mindre replikk, som er i NG.
Kolstø var flere ganger i Paris fra 1882 og reiste bl.a. til Grez, utenfor Paris, med Erik Werenskiold og der traff han også Chr. Krogh og Chr. Skredsvig. Han malte flere hovedverk i perioden 1884–85 med dristig teknikk med farge-dekomponering, palettkniv og til tider pointillistiske trekk. Han fikk statsstipendium i 1886. Kolstøs arbeider har vært utstilt en rekke steder, bl.a. på verdensutstillingene i Antwerpen 1885, Paris 1889 og 1900 og Chicago 1893. Dessuten på en internasjonal utstilling i San Francisco 1915 i tillegg til en lang rekke utstillinger i Norge og utlandet.
Repr. i NG, samt en rekke andre museer i Norge.
