Osnivačka skupština kluba održana je 18. februara 1937. godine u maloj kafani ‘Užice’ na mestu gde se nalazi železnička stanica Rakovica, a koja je bila u vlasništvu Velje Čvorića. Učesnici osnivačke skupštine verovatno nisu ni sanjali da su bacili plodno seme iz kojeg se rodio klub, koji je požnjeo mnoge uspehe u ovih osam decenija postojanja.

Prvu stranicu bogate istorije kluba napisali su osnivači: Predrag Stojić, Vlada Filipović, Nikola Mladenović, Milan Kotal, Srećko Veličković, Dušan Milosavljević – Marokanac, Todor Đorđević, Moma Benić, Borislav Jović, Jova Filipović i Petar Todorović – Drvar. Za prvog predsednika izabran je Predrag Stojić. Sekretar je postao Vlada Filipović. Nikola Mladenović je bio ekonom, a Milan Kotal blagajnik. Vođa fudbalsog tima bio je Predrag Stošić, a ostali su bili članovi Uprave.

Klub je pod imenom Rakovica odmah prijavljen Upravi grada ali fudbalski organi Beograda nisu ga primili u svoje redove. I pored toga klub je iz nedelje u nedelju igrao utakmice sa ostalim radničkim klubovima (Sinđelić, Hajduk, Rudnik, Vojvoda Skopljanac, Rapid i dr.), koji takođe nisu primljeni. Utakmice su obavezno morale da se petkom prijave policiji.

Prvu utakmicu posle osnivanja Rakovica je odigrala protiv Kneževca (2:2), na svom igralištu gde je sad Marička ulica i stambena kolonija ’21. maja’. Do početka II svetskog rata odigrano je više utakmica ali podaci, na žalost, ne postoje.

FK Rakovica je najzad primljen 1940. g. u ‘Beogradski loptački podsavez’, kada počinje sa takmičenjem u IV razredu grupa ‘Drina’. Klub je bio pretposlednji ali, što bi se reklo, svaki početak je težak!

U toku rata mnogi članovi kluba otišli su da brane domovinu, a ratni vihor samo je delimično zaustavio sportski život u Rakovici jer je klub odigrao više nezvaničnih utakmica sa komšijama iz Kneževca, Žarkova, Košutnjaka i Makiša.

Prvu zvaničnu utakmicu posle rata fudbaleri Rakovice su odigrali u Beogradu 17. marta 1945. godine, kada su branili boje XII reona koji je obuhvatao područja Dedinja i Rakovice. Organizator je bio gradski komitet USAOJ-a, a takmičenje je održano u čast Svetske omladinske nedelje. Rakovičani su pobedili sve protivnike i na kraju ekipu IV reona sa 2:1. Golove su postigli Žikica Spasojević i Milan Šobot. Zanimljivo je bilo da je u protivničkoj ekipi igrao Milan Stokić, koji će kasnije postati direktor fabrike IMR. Rakovica je igrala u sastavu: Aleksandar Matić, Rade Burđić, Ljubiša Filipović – Gaša, Miodrag Bakić, Dragiša Krstić, Dušan Pantić – Toske, Milan Šobot, Mile Stojadinović – Kiki, Aleksandar Pantić – Parać, Žikica Spasojević i Tihomir Ranković – Tikica.

Na fudbalskom turniru metalskih radnika Beograda 1945. godine, pored ostalih, učestvovali su i sportisti IMR-a, osvojivši ubedljivo prvo mesto. Zanimljivo je da je posle ovog turnira osnovan fudbalski klub Metalac (kasnije OFK Beograd) za koji su igrali fudbaleri iz Rakovice: Gaša Filipović, Žikica Spasojević, Aca Panić – Parać, Duško Pantić i Tihomir Ranković – Tikica.

Klub je obnovio rad u leto 1947. godine kao Motor, koji je pod tim imenom igrao godinu dana. U aprilu 1948. godine klub menja ime u Sportsko društvo Rakovica. U prvih pet godina bilo je trijumfa ali i padova. Veliki uspeh je postignut 1950. godine kada je Rakovica ubedljivo pobedila u Beogradskoj ligi. U narednih četiri godine klub je igrao u I/A razredu i u Podsaveznoj ligi, kada je stagnirao. Problem broj jedan bio je nerešeno pitanje finansiranja. Klub u to vreme nije imao ni najosnovniju opremu (dresove), pa je zbog toga 1953. godine izgubio dve utakmice parforfe. Bolji dani dolaze kada je 22. juna 1954. godine na godišnjoj skupštini definisan status i mesto kluba, kao i njegov odnos prema fabrici IMR. Od tada klub nosi ime FK IMR. U 1955. godini stadion postaje pravo gradilište gde se gradi teren, ograda, tribina i svlačionice, a zvanične utakmice se igraju na igralištu Kneževca.

I pored relativno dobrih uslova za rad 1957. godine klub ispada iz Podsavezne lige. Nastaje preriod tavorenja po nižerazednim ligama sve do sezone 1964/65 kada klub osvaja prvo mesto u II/A Beogradskoj ligi. U sezoni 1965/66 FK IM Rakovica postiže najveći uspeh kada je ubedljivo pobedila u I Beogradskoj ligi i plasirala se u Srpsku ligu. Jednu od najuspešnijih sezona u Srpskoj ligi klub je imao 1973/74 godine, kada zamalo nije ušao u Drugu saveznu ligu. Još u prvom delu jesenje sezone klub je preuzeo prvo mesto na tabeli i zadržao ga praktično do poslednjeg kola kada je pala odluka. IM Rakovica je izgubila utakmicu od FAP-a u Priboju, Sloga iz Kraljeva je pobedila i preselila se u viši rang, a FK IM Rakovica je zauzela treće mesto jer je pretekla i Dubočica iz Leskovca…

Narednih decenija klub je stabilno igrao u Srpskoj ligi sa povremenim izletima u Beogradsku Zonu, čak i u periodu ratnih i nestabilnih devedesetih godina Rakovica je uspevala da održava solidne rezultate i afirmiše mnoge fudbalere. Na pragu novog milenijuma uspostavljena je saradnja sa prvoligašem FK Rad usled čega je došlo do najvećeg uspeha u istoriji – plasmana u tadašnju Drugu Ligu SR Jugoslavije. Međutim saradnja se brzo završila, što je rezultiralo katastrofalnim finansijskim kolapsom usled čega je klub u narednim godinama ispadao iz rang u rang sve do Prve Beogradske Lige. Za oporavak potrebno je bilo nekoliko godina, da bi se klub 2013.godine, ponovo vratio u Srpsku Ligu i osvojio Kup Beograda. Međutim, sredinom 2016.godine, usled loše finansijske situacije, glavnog sponzora kluba, fabrike motora i traktora IMR, koja je otišla u stečaj, stara uprava podnosi ostavku i klub praktično dovodi do gašenja. U poslednji momenat intervencijom čelnika Skupštine Opštine Rakovica klub dobija novo rukovodstvo.

Danas u 2017.godini, kada slavi 80 godina od osnivanja, klub konačno doživljava novu renesansu, vraćen je stari naziv FK Rakovica (pod kojim je i osnovan) a stari grb sa inicijalima fabrike IMR zamenjen je novim sa slikom Manastira Rakovica u cetralnom krugu. Nakon šest decenija, nova uprava obezbedila je sredstva za rekonstrukciju igrališta (postavljanje veštačke trave), tribina, upravne zgrade i postavljanje reflektora. Drugim rečima u narednim godinama stadion Rakovice biće ponovo mesto pozitivne fudbalske energije i kvalitetnog fudbala.