Karl Koljo sündis 1879. aastal Tartus. Õpetajahariduse omandamist alustas Koljo 1913. aastal Tartu Õpetajate Seminaris, mille ta lõpetas 1917. aasta kevadel. Esimese maailmasõja ja Vene revolutsiooni keerises oli Koljo sunnitud sõjaväkke minema. 1918. aasta novembris liitus Koljo Omakaitse kooliõpilaste rühmaga, et kaitsta Narvat enamlaste pealetungi eest. Jõudnud Tallinna, liitus tulevane kooliõpetaja Tallinna Kaitsepataljoniga ja siirdus selle ridades vabadussõtta.

Vabadussõjast naasnuna alustas Koljo 1920. aastal Tallinna Linna Koolivalitsuse ettepanekul tööd õpetajana Nikolai Kannu aegses Tallinna Reaalkoolis. Ta töötas saksa osakonnas kahekordse tunnikoormusega. 1920. aasta suvel asus Koljo Kannu soovitusel õppima Tartu Ülikooli õigusteaduskonda, mille ta lõpetas 1928. aastal.

Pärast ülikooli lõpetamist naases Koljo gümnaasiumi ja kõrgema astme kutsekooli õpetajana Tallinna Reaalkooli. 1934-1936 oli Koljo Kannu soovil Haridusministeeriumi Teaduse ja Kunsti Osakonna direktoriks. 1936 sai Koljost Tallinna Reaalkooli direktor. Tema juhtimise ajal toimusid suured rekonstrueerimistööd. Reaalkool sai uue kivist riietushoone uisutee jaoks, koolihoone värviti väljaspoolt ning järk-järgult ka seest, koridoridesse paigaldati moodne metlahh-plaatidest põrand.

Nõukogude okupatsiooni tulekuga tagandati Koljo direktoriametist ning seejärel emigreerus ta Saksamaale ning sealt edasi Ameerika Ühendriikidesse, kus ta ka suri.