Galerija slika osnovana je 12. srpnja 1945. godine, kao prva novoosnovana galerija nakon Drugog svjetskog rata. Prvi prostori Galerije bili su na adresi Kurelčeva 3, nakon tri godine Galerija seli u zgradu kazališta, a 1951. godina vraća se u prostore u Kurelčevoj ulici. Od 1963. godine Galerija je pod domenom Gradskog muzeja Karlovac, koji 1965. godine upućuje na problem smještaja Galerije, odnosno zbog sudskog rješenja o iseljenju Galerije iz prostora u Kurelčevoj ulici do sredine iste godine. Galerija je zatvorena, a slike su spremljene u Gradski muzej. Početkom iduće godine usvojen je Detaljni urbanistički plan Novog centra Karlovca koji je uz stambene objekte zacrtao i izgradnju novog kulturnog centra grada, te se ponovo otvorilo pitanje smještaja Galerije slika. Rješenje je pronađeno kroz zajedničku investiciju s Auto-Hrvatskom te se pristupilo izvedbi prve zgrade s kojom je grad prekoračio na oranice preko željezničke pruge.
Zgrada je u svome prizemlju sadržavala suvremeni auto salon, a na oko 400 kvadratnih metara kata smještena je Galerija slika koja je otvorena 20. srpnja 1967. godine. Prostor se ubrzo pokazao lošim zbog nekvalitetne izvedbe krova, a Galerija prostor prodaje te se počinje razmatrati nova lokacija i rješenje samog objekta.
Natječaj za Kulturni centar Karlovca i uređenje središnjeg prostora Novog Centra koji je trebao sadržavati kulturne, upravne, poslovne i trgovačke sadržaje s javnim prostorima je raspisan 1971 godine. Prema prvonagrađenom radu projektnog tima Arhitektonskog fakulteta Sveučilišta u Zagrebu predvođenim arhitektom Mladenom Vodičkom realizirana je prva faza knjižnice. Gradnja zgrada knjižnice i galerije trajala je istodobno te su otvorene 1976. godine. Knjižnica je primjer prve planski izgrađene zgrade te namjene u Jugoslaviji, a s galerijom čini rijedak slučaj izgradnje zgrada javne namjene u jednom dahu, jedinstvom u oblikovanju i tada veoma zahtjevnom tehnikom izgradnje u vidljivom betonu, što pridonosi oblikovnom skladu cjeline. Zgrada Historijskog arhiva, po projektu beogradskog arhitekta Milana Jerkovića, koja slijedi izraz u sirovom betonu, izgrađena je 1979. godine. Ta je zgrada izgrađena do građevne linije koju su (i bi) trebale slijediti buduće dogradnje knjižnice i Galerije.
Sadašnja zgrada Galerije „Vjekoslav Karas“ otvorena je 5. travnja 1976. godine u Novom Centru zajedno s prvom fazom zgrade Gradske knjižnice “Ivan Goran Kovačić́”. Autor idejnog projekta zgrade galerije je karlovački arhitekt Želimir Žagar, a glavnog projekta arhitekt Stanko Kočevar, šef Projektnog biroa građevinskog poduzeća Novotehna kojemu je povjerena izvedba. Zgrada dijeli brojne sličnosti sa zgradom Auto-Hrvatske gdje je galerija prethodno bila smještena, čiji je autor je također Žagar. Ta je građevina poput sadašnje zgrade pravokutnog tlocrta, jednokatna sa skeletnim sustavom i tlocrtnim rasterom u devet polja. Razlika je u poziciji stubišta – kod Auto-Hrvatske je ono vanjsko, jer zgrada je namijenjena za dva neovisna korisnika, a kod galerije unutar centralnog polja; te u oblikovanju pročelja – Auto-Hrvatska ima potpuno ostakljene površine između nosivog skeleta (utjecaj internacionalnog stila), dok galerija je poput zatvorenog betonskog kubusa (utjecaj strukturalizma i brutalizma).
Zgrada galerije je jednokatna građevina, tlocrtne površine prizemlja 17,10×17,10 i tlocrtne površine kata 20,10×20,10 metara. Glavni ulaz je s južne strane, s planiranog trga, a sporedni sa sjeverne strane uz parkirališe. Zgrada djeluje čvrsto, stabilno i snažno iako je skormnih dimenzija. Zidovi prizemlja obloženi su tamnocrvenom fasadnom opekom, a prozori sekundarnih prostorija nalaze se povišeno, sakriveni iza tanke betonske ploče. Katni dio volumena raščlanjen je na tri dijela na svakom pročelju koja izlaze iz gabarita prizemlja. Između njih je nosivi stup koritastog presjeka, a bočno su prozori u punoj visini etaže koji se ne vide iz frontalnog pogleda na pročelje, te zgrada izgleda kao da nema otvora stvarajući dojam kako interijer čuva nešto vrijedno. Bočni prozori osvjetljavaju veliku izložbenu plohu bočno kako bi se izložak optimalno osvjetlio prirodnim svjetlom. S vanjske strane ta kvadratična ploha je podjenjena na 7×7 betonskih, plitkih prizmi, koje daju dinamiku čvrstom pročelju. Skulpturalne i konstruktivne mogućnosti oblikovanja pročelja u vidljivom betonu ostavljaju dojam snage, a eksterijer zgrade je izložak u javnom prostoru. Kroz čitavu građevinu proteže se struktura kvadrata – kvadratne plohe s kvadratnim prizmama na pročelju, devet kvadratnih polja nosivog rastera (5,30×5,30m) i kvadratični tlocrt u cjelini. Osim naglašene strukturalnosti, značajna je simetrija pročelja i tlocrta. Osnovna konstrukcija zgrade je armiranobetonska s ispunama od opeke u prizemlju, dok su zidovi kata složeni sustav vanjske betonske ploče i toplinske izolacije s unutarnje strane koja je zaštićena šupljom opekom, što je važno imati na umu kod pristupa eventualnoj energetskoj obnovi zgrade i očuvanja izvornog oblikovanja pročelja.
Prizemlje je rezervirano za servisne, upravne prostore i ulazni prostor stubišta koje je pozicionirano u centralnom polju te tako je direktno vidljivo s ulaza, a prostor na katu je dobro iskorišten s kružnim smjerom kretanja. Ispod stubišta smještena je toplinska podstanica. Vjetrobran glavnog ulaza je naglašen tako što je umetnuti šuplji pravokutnik sa zaobljenim bridovima, na koji se pristupa preko tri stube. Osim bočnog osvjetljenja izložbenog prostora kata, iznad stubišta postavljene su 3×3 kružne svjetlosne kupole na šupljim betonskim valjcima. Nakon ratnih oštečenja, 1993. izvedeno je četverostrešno plitko krovište sa prozirnim materijalom iznad kupola, tako da su zadržale izvornu namjenu.
Strategija kulturnog razvoja Karlovca 2014. – 2024. navodi potrebu za dogradnjom i uređenjem zgrade galerije radi osiguranja prostora za stalni postav, prostora za povremene izložbe, te ostale administrativno-tehničke i uprave prostore. Pitanje proširenja prostornih kapaciteta galerije slika postavljeno je i nedugo nakon izgradnje, te se u natječajnim rješenjima iz 1979. godine za redefiniranje prostora centralnih funkcija Novog centra daju rješenja u vidu ponavljanja postojeće zgrade u njezinom nastavku. Novi dio poravnat je s građevinskim pravcem kojeg drži zgrada Arhiva, a između novog i starog dijela postavljen je spojni element koji osim što spaja dva dijela zgrade galerije, spaja galerijski kompleks i zgradu knjižnice u cjelinu. Ovakav pristup da se dogradnji pristupa umnažanjem postojeće zgrade je opravdan, jer je zgrada sama po sebi zamišljena strukturalističkim pristupom od samog koncepta konstruktivnog rastera do oblikovnih detalja pročelja koji se umnažaju.
Osim pitanja pristupa dogradnji bitno je i pitanje obnove pročelja postojeće zgrade. Sveprisutna energetska obnova opasnost je za ovakve objekte koji su izraz jedne epohe oblikovanja u vidljivom betonu ukoliko se ne pristupi s puno pažnje i brige za jedan ovakav objekt koji nedvojbeno ima svoju arhitektonsku i oblikovnu vrijednost, te je svjedok jednog vremena i tadašnjih arhitektonskih kretanja.
