6 Şubat 1994 günü İstanbul’un Fatih ilçesinde doğan İbrahim Yılmaz, futbola İstanbul Büyükşehir Belediyespor altyapısında başladı 2009 senesinde profesyonel olup A takımına yükseldi. 2010-2011 sezonunda 19 Aralık 2010 tarihinde Manisaspor ile oynanan Süper Lig müsabakasında 80. dakikada İskender Alın yerine oyuna girerek İstanbul BB için ilk resmî maçına çıkmış oldu.
2012-2013 sezonunda daha fazla forma şansı bulmak ve millî takıma seçilebilmek için 3. Lig takımlarından Darıca Gençlerbirliği’ne kiralandı. Darıca Gençlerbirliği forması ile ligde ve Türkiye Kupası’nda 15’i ayak, 7’si kafayla olmak üzere toplamda 22 gol atan genç oyuncu, ligde attığı 20 golle dikkat çekti.
2013-2014 sezonunda İstanbul Büyükşehir Belediyespor’a dönerek PTT 1.Lig’de mücadele etti. O sezon toplamda 20 maça çıktı, 7 gol attı ve 3 asist yaptı. Sezon sonunda takımı Süper Lig’e çıktı.
2014-2015 sezonu öncesinde Altınordu FK ile kiralık olarak sözleşme imzaladı. Aynı sezonun ikinci yarısını Şanlıurfaspor’da kiralık olarak geçirdi. 2015-2016 sezonunda 3.lig ekibi Darıca Gençlerbirliği kulübüne bonservisi ile transfer oldu. 32 maçta 12 gol attıktan sonra 2016-2017 sezonu başında İstanbulspor’umuza transfer oldu.
2. lig ve 1.lig şampiyonluğu yaşadığı İstanbulspor’umuz da 188 maçta yer alarak 53 gole imza attı. 2021-2022 sezonu şampiyonluğuna 18 golle büyük katkı verdi.
2022-2023 sezonun ikinci yarısını Eyüpspor’da kiralık olarak geçiren İbrahim Yılmaz, 2023-2024 sezonu ilk devresindeki Ankaragücü maç kadrosunda yer almadı. Bu olayı protesto eden Yılmaz’ın lisansı 24 Ekim günü saat 17.00 de kulüp tarafından iptal edilerek TFF’ye bildirildi.
Yılmaz 2016-2017 sezonundan beri sarı siyah forma ile 215 maçta (ertelenen Samsunspor maçı dahil) yer alırken 2. ve 1.lig şampiyonlukları yaşadı ve 55 gol kaydetti.
İbrahim Yılmaz İstanbulspor sonrası 2023-2024 sezonunun ikinci yarısında 24 Erzincanspor forması giydi, 19 maçta 5 gol atabildi. 2024-2025 sezonunda ise durağı Aksarayspor oldu, 35 maçta forma giyerek 15 gol atmayı başardı. 2025-2026 sezonu için yine sarı siyahlı kulüp Aliağa FK ile anlaşma yaptı.