De eerste gouden tijd
Sportief kregen de voetballers van Sparta vanaf 1893 de naam 'de eeuwige nummer 2'. In deeerste vijftien jaar in de Hoofdklasse eindigde de club zes keer op de tweede of derde plaats. In 1909 kwam een einde aan die reeks. Zowel in dat jaar als in 1911, 1912, 1913 en 1915 werd Sparta landskampioen. In 1916 werd de club afdelingskampioen. Daarnaast won Sparta in 1909, 1910 en 1911 de N.B.L.O.-beker. Deze was de inzet van de strijd tussen de nummers 1 en 2 van de beide afdelingen van de K.N.V.B. Na 3 jaar werd de strijd gestaakt omdat de N.B.L.O. zo snel na het begin van deze serie geen nieuwe beker ter beschikking wilde stellen. In 1910 en 1913 werd de Zilveren Bal gewonnen. Dat Sparta in deze periode voor het eerst gebruikmaakte van een trainer, de Engelsman Edgar Chadwick, zal ongetwijfeld aan het succes hebben bijgedragen. Sterspelers Bok de Korver, Huug de Groot en Cas Ruffelse speelden eveneens een belangrijke rol.
De tweede gouden tijd
Hoewel Sparta in de periode na de Eerste Wereldoorlog afdelingskampioen werd in 1925 en 1929, diverse malen op slechts een punt van de titel de tweede plaats bereikte in 1924, 1926, 1928, 1931 en 1940 en met enige regelmaat de Zilveren Bal won (in 1923, 1925, 1929, 1934, 1935 en 1951) brak de tweede echte glorieperiode pas in 1952 aan. In 1953 en 1956 werd Sparta afdelingskampioen; in 1952, 1954 en 1955 werd het tweede. In 1956 kwalificeerde men zich via het kampioenschap, onder leiding van de Engelse coach Denis Neville, naar de nieuw ingestelde eredivisie. Sparta's bestuurslid Jos Coler was in juni 1954 aanwezig bij de "slaapkamerconferentie" van vier voorzitters die leidde tot de invoering van het betaalde voetbal in Nederland. In 1958 won Sparta voor de eerste maal de KNVB beker en een jaar later werd Sparta, voor het eerst sinds 1915, landskampioen. Denis Neville wordt binnen Sparta als een legendarische trainer beschouwd. De tribune waar zich de luidruchtigste Sparta-supporters bevinden werd op 1 april 2001 naar hem vernoemd.