Fudbalsku karijeru počeo je u NK Slavenu iz Živinica.
Ubrzo prelazi u NK Bosnu iz Visokog gdje ostaje dvije godine.
1997. godine odlazi u Sloveniju u NK Interblock iz Ljubljane, a nakon toga u austrijski klub Vorwärts Steyr, prije nego što je otišao u Rusiju.
Tamo je igrao za FK Anži iz Mahačkale te postao jedan od najboljih igrača sredine terena u ruskom prvenstvu.
Sa klubom je osvojio četvrto mjesto 2000. godine.
Time je privukao pažnju većih klubova te 2001. godine odlazi u moskovski CSKA.
Najveći uspjeh koji je Rahimić ostvario sa CSKA Moskvom je osvajanje Kupa UEFA 2005. godine.
U Rusiji je poznat po nadimku “Schelesny” (Čelični) zbog svoje nevjerojatne stabilnosti i izdržljivosti tokom cijele sezone.
Rahimić je za reprezentaciju Bosne i Hercegovine debitirao 2. juna 2007. na utakmici protiv Turske, drugoj reprezentativnoj utakmici koju je kao izbornik vodio Fuad Muzurović.
Trenutno je član Stručnog štaba reprezentacije Bosne i Hercegovine.
Jasminko Razić
