Još su Rimljani u svoje vreme izgradili na teritoriji današnje Grocke, uz obale Dunava, glavni put koji je povezivao Singidunum iliti Beograd i Viminacijum, odnosno sadašnji Kostolac. Pronađeni su i brojni dokazi koji to potvrđuju, kao što su vile-rustike, rimske grobnice, zlatan nakit, novac, keramika, oružje i druge iskopine.
Grocka prvi put se pominje još u 9. veku, kada se naselje na ušću male reke u Dunav navodi pod nazivom Gradec. U 16. veku, međutim, ovo naselje pominje se i kao Hisarlik. Ovaj naziv zabeležen je u zapisu Evlije Ćelebije 1521. godine, kao i u turskim katastarskim popisima beogradske okoline iz 1528-1530, kada se opisuje kao naselje sa 22 doma. Putopisac Gerlah u istom veku prošao je kroz ovo naselje i tom prilikom zabeležio: „Veliki potok deli Grocku na dva dela, u jednom delu podignute su male srpske kolibe pokrivene trskom i slamom, a u drugom ima i lepih turskih kuća, često šindrom pokrivenih“. Najstariji deo ovog dela grada je duž današnjeg Bulevara oslobođenja, a nekadašnjeg Carigradskog druma, uz koji se postepeno formirala čaršija, pa i prvo naselje.
Kao istovremeno varošica, odnosno administrativni i trgovački centar, ali i seosko naselje, Grocka se počela razvijati u 19. veku. O tome svedoče i dve osnovne grupe starih kuća koje preovladavaju, a to su varoška i seoska kuća. Varoške kuće karakterišu tri do četiri prostorije, trem sa uzvišenim doksatom, odžaklija i podrum. One su uglavnom predstavljale domove trgovaca i zanatlija. Sa druge strane, seoske kuće razvijale su se u nekoliko tipova, što je posledica doseljavanja stanovništva iz različitih delova Srbije. Danas se tako razlikuju četiri karakteristična tipa seoske kuće: moravska, kosovska prizemljuša, šumadijska, kao i vojvođanska kuća.