1926 yilinda Karagümrük Idman Yurdu adi altinda Muhtar Bey''''in gayretleriyle semtin gençleri tarafindan kuruldu.Renkleri Kirmizi-Siyah olup adini kuruldugu semtten almaktadir.Klübün renkleri olan Kirmizi-Siyah o dönemde Karagümrük''''lü tulumbacilarin kirmizi fanila ve siyah sort giymelerinden kaynaklanmaktadir.Kirmizi atesi, siyah ise dumani simgelemektedir.Klübün ilk baskani Feyzi Efendi''''dir.1932 ve 1933 yillarinda *****huriyet Kupasini kazandi.1942''''de 2.küme sampiyonu olarak 1.kümeye yükselme hakkini elde ettiysede futbol federasyonunun Vefa klubü ile birlestirilmesi yönünde karar vermesi üzerine klup yönetimi bunu kabul etmeyip faaliyetlerine son verdi.1946 yilinda yeniden faaliyete baslayan klup 5. amatör kümede oynamaya basladi.1953''''te 1. amatör kümeye yükseldi.Bu tarihlerde Türkiye 2. Profesyonel liginin kurulmasina öncülük ederek, Türk spor tarihi açisindan önemli bir olayi gerçeklestirdi.1954-1955 ve 1955-1956''''da 1. Amatör küme sampiyonlugunu kazandi.1957-1958 sezonunda 2.Profesyonel ligde sampiyon oldu ve 1. Lige çikti.Ayni zamanda yilin takimi seçildi. Ancak 1.Lige 3 sezon sonra veda etti.1983-1984 sezonunda yeniden 1. lige çikti. Fakat tutunamadi.1995-1996 sezonunda 3.Ligden de düstü.Karagümrük 1999-2000 sezonunda namaglup sampiyon olarak 3. lige çikti.2000-2001 sezonunda basarili bir sezon geçirip son haftalara kadar sampiyonluk sansini sürdürmesine ragmen büyük bir talihsizlikle ligi 5. sirada bitirdi.2006-2007 sezonunda SAMPIYONLUK parolasiyla basladi.
.
