Prvi fudbalski klub osnovaj je na početku dvadesetog veka. 3. maja 1901. u Subotici osnovan je Sportski atletski klub “Bačka”, a 14. septembra 1903. osnovana je “Šumadija” u Kragujevcu. A zbog toga što je “Bačka” u vreme svog osnivanja bila u sastavu Austro-ugarske monarhije a “Šumadija” na srpskom tlu došlo se do terminologije da je “Bačka” najstariji klub u Srbiji dok je “Šumadija najstariji srpski klub.
Posle kraćeg vremena osnovani su i Srpski mač, Soko, BASK, Dušan Silni itd.
1. septembra 1911. osnovan je Beogradski sport klub (BSK). Ovaj klub je dominirao srpskom scenom tri decenije sa osvojenih 5 titula prvaka države i tako posato najtrofejniji i najbolji klub Kraljevine Jugoslavije.
18. aprila 1919. osnovan je Jugoslovenski nogometni savez u Zagrebu. Na toj osnivačkoj skupštini predsedavao je Danilo Stojanović (legendarni Čika Dača) koji je osnivač Šumadije, BSK i još nekoliko klubova. Za prvog predsednika JNS izabran je Hink Virt, a predstavnik iz Beograda je bio Boško Simonović – student arhitekture, koji je kasnije bio i selektor reprezentacije. Ova skupština se smatra i kao početak rada današnjeg Fudbalsko Saveza Srbije (FSS).
1930. bio je registrovan 51. klub u Beogradu, a Beogradski loptački savez imao je 91 člana.
Posle nekoliko nesloga u savezima 16. maja 1930. sazvana je skupština u Zagrebu i tada je izglasana seoba u Beograd, a pritom je savez dobio i novo ime, Fudbalski savez Jugoslavije. Iste godine održano je Prvo svetsko prvenstvo u Ugurgvaju. Na tom prvenstvu bez hrvatskih igrača reprezentacija je podelila treće i četvrto mesto.
Došao je rat a tada je fudbal stao privremeno. Posle rata obnavljali su se stadioni i igrališta. A i počeli su da nastaju i novi klubovi. Tako je 25. februara 1945. osnovan Metalac, kasnije preimenovan u BSK pa u OFK Beograd kao pravni naslednik Beogradskog sport kluba. Iste godine 4. marta 1945. osnovana je Crvena Zvezda a 4. oktobra Partizan. Tada su obnovljeni mnogi timovi i krenula je ponova igra.
Zbog velikog povećanja broja klubova 1948. obnovljen je rad Fudbalskog saveza Jugoslavije.