Der Ursprung des heutigen Vereins ist der im Jahr 1904 gegründete „Attendorner Ballspielclub". In der Folge gründeten sich in Attendorn außerdem die Fußballclubs „Edelweiß" (1905) und „Union" (1910). Im Jahr 1912 löste sich der Attendorner BC auf. Während des ersten Weltkriegs wurde der Spielbetrieb durch Mitglieder verschiedener Attendorner Verein unter dem Namen „Fortuna" weitergeführt. Nach dem ersten Weltkrieg entstand im Jahr 1919 ein weiterer Fußballclub mit der „DJK Teutonia". Die „Fortuna" benannte sich zeitgleich in „Spiel- und Sportverein" um. Im Jahr 1923 erfolgte die Umbenennung in „Turn- und Sportverein". Im Jahr 1930 nahm der Verein erstmals den heutigen Vereinsnamen an und die Turnabteilung trennte sich ab. Im Jahr 1935 kam die Zwangsauflösung der DJK. Nach dem zweiten Weltkrieg wurde gemäß den Militärbestimmungen im Jahr 1945 ein zentraler „Turn- und Sportverein" wieder ins Leben gerufen. Der Neugründung der DJK im Jahr 1950 folgte im Jahr 1952 die erneute Trennung der Fußballer und Turner. Die Turner gründeten den heute noch existierenden „TV Attendorn", die Fußballer firmierten nun wieder unter dem heutigen Vereinsnamen „SV Attendorn".