乌尔姆虽然之征战了一个赛季德甲，但在1970年却是德国最大的俱乐部，此外乌尔姆向世界送出了赫内斯兄弟，朗尼克也在这里开启了自己的执教生涯。

　　乌尔姆队的历史最早可以追溯到1846年成立的私人体操俱乐部“TSG乌尔姆1846”，1893年初，一位来自乌尔姆的文法学校的教师向俱乐部展示了足球运动，次年11月，俱乐部成立了足球部，最初球队只参加私人比赛，也就是“踢野球”，直到1904年才加入南德足协。1909年5月15日，乌尔姆足球队从私人俱乐部中分离出来，成立了“FV乌尔姆1894“俱乐部。 1912年起身着黑白球衣参加甲级联赛，而乌尔姆市又以麻雀闻名，因此球队得名“麻雀”(Die Spatzen)。

　　接下来的四十年时间俱乐部成绩稳定，埃尔温·舍德勒(Erwin Schädler)、瓦尔特·沃尔韦勒(Walter Vollweiler)和格奥尔格·乌泽尔(Georg Wurzer)曾被南德足协招入国家队参加联邦杯选拔赛。1939年，“FV乌尔姆1894”和“TB乌尔姆1846”以及“SpVgg乌尔姆1889”合并为“TSG乌尔姆1846”。

　　1946年乌尔姆获得符腾堡地区联赛冠军，并升入了南部上甲联赛。但在此后的二十年间多次降级，1963年“麻雀”继续参加业余联赛，1967年，球队首次跌入次级业余联赛。

　　1970年随着乌尔姆市最大的两家体育俱乐部合并，球队水平迅速提高，1971至1973年，球队获得业余联赛两连冠，但都在升级附加赛被淘汰，1976至1978年，“麻雀”遭遇了相同的命运。1978/79赛季，巴登-符腾堡地区联赛改制，将原来的北符腾堡、黑森林-康斯坦茨、南巴登和北巴登四个业余联赛合并，并决出前五名升入新的南部德乙联赛，凭借四分优势，“麻雀”终于夺冠并升入了德乙联赛。

　　之后乌尔姆起起伏伏，直到1997年一位叫拉尔夫·朗尼克的名不见经传的少帅上任。在朗尼克执教的首个赛季，乌尔姆就夺得南部第三级别冠军成功冲乙，一个赛季后乌尔姆排名德乙第五，朗尼克卸任，球迷都以为乌尔姆要继续起伏时，新帅马丁·安德马特(Martin Andermatt)却带领球队在 1999/2000赛季中排名联赛第三，“麻雀”首次跻身德甲。

　　“麻雀”在24轮后，排名德甲第12位，甚至距离欧战区比降级区更近。但在主场1：9被勒沃库森屠杀后，球队的士气一落千丈，以至于收官战只有取胜才能保级，然而法兰克福在第90分钟罚入的点球彻底杀死了“麻雀”，最终乌尔姆以35分排名第16遗憾降级。持续的财政问题导致俱乐部举步维艰，在德甲联赛结束仅一年后就被判从德乙降到第五级别。此后大部分时间里乌尔姆都在第四级别联赛度过，今年升入了德丙联赛。

　　乌尔姆在单赛季德甲联赛中保持着一项不同寻常的纪录。在1：2负于罗斯托克的比赛中，乌尔姆有四名球员被罚出场，创下了单场比赛罚出场人数最多纪录，赛后主教练安德马特也“被罚下课”。不过乌尔姆也是唯一一支在德国杯上击败德甲球队的第五级别联赛俱乐部，2001/02赛季“麻雀”以 2：1爆冷淘汰了纽伦堡。