Karl Rebane sündis 11. aprillil 1926. aastal Pärnus. Rebane lõpetas Tallinna Reaalkooli 1947. aastal 62. lennus b-klassis. Praegu ripub tema portree Tallinna Reaalkooli II korruse seinal akadeemikute galeriis.

1952. aastal lõpetas ta Leningradi Riikliku Ülikooli, kus kaitses 1955. aastal füüsika-matemaatikakandidaadi (PhD) väitekirja. Aastast 1964 on Karl Rebane füüsika-matemaatikadoktor ning 1968 omistati talle professori kutse teoreetilise ja matemaatilise füüsika ning tahke keha füüsika alal.

1961 valiti Karl Rebane Eesti Teaduste Akadeemia liikmeks, 1976 NSV Liidu Teaduste Akadeemia kirjavahetaja-liikmeks ja 1987 akadeemikuks optika alal. Karl Rebane oli ka Euroopa Kunstide ja Teaduste Akadeemia (Salzburg) ning Euroopa Akadeemia (London) liige.

Rebase pikaajalisest teadustööst moodustas olulise osa teoreetiline füüsika, rakendatult optikas ja tahke keha füüsikas. Peale selle avaldas ta töid filosoofiat füüsikaga siduvate küsimuste kohta, milles käsitles entroopiaprobleeme keskkonnahoius ning maaväliste tsivilisatsioonide otsinguis, põhjuslikkust ja vaba tahet füüsikas ning kõrgtehnoloogilise terrorismi ohtu kaasaegses maailmas. Karl Rebane on enam kui 300 teadustöö autor ning koostöös Vladimir Hinjakovi ja Peeter Saariga avastas ta 1968. aastal kuuma luminestsentsi.

Karl Rebase saavutusi teadlase ja teaduse organisaatorina on kõrgelt hinnatud. Muude tunnustuste hulgas omistati talle 1981 NSV Liidu Teaduste Akadeemia Lebedevi-nimeline kuldmedal saavutuste eest füüsikas; 1996 kollektiivi koosseisus Eesti Vabariigi teaduspreemia ühe lisanditsentri spektroskoopia eest ning 2001. aastal tunnustati Karl Rebase pikaajalist tulemuslikku teadustööd Eesti Vabariigi teaduspreemiaga. 2006. aastal autasustati teda Valgetähe III klassi teenetemärgiga.

Karl Rebane suri 4. novembril 2007. aastal.