15 Haziran 1992 tarihinde Kocaeli de doğan Servet Yılmaz, futbola İzmit Saraybahçespor altyapısında başladı ve daha sonra İzmit Şirintepespor altyapısında oynadı. Buradan 2009 yılında Bucaspor altyapısına transfer oldu ve 2010-2011 sezonunun başında profesyonelliğe geçiş mukavelesi imzalayarak as takıma yükseldi. Bucaspor’da ilk Süper Lig karşılaşmasını 3 Aralık 2010 tarihinde Trabzonspor’a karşı oynadı.
2012-2013 sezonunda Orhangazispor’a kiralanan Server Yılmaz, 2013-2014 sezonunda bonservisi ile bu kulübe gitti. Aynı sezonun Ocak transferinde ise Ankara Demirspor’lu oldu.
2015-2016 transfer sezonunda İstanbulspor’umuza geldi. 4 defa ilk on birde başladığı 16 maçta forma giydi. 2016-2017 sezonunda Ankara Demirspor’a kiralandı.
2017-2018 sezonunda amatörlüğe döndü, Karasuspor Kiremithanespor, İçel İdmanyurdu, Karaisalıspor kulüplerinin formalarını giyip aktif futbol yaşantısını sonlandırdı.
Server Yılmaz’a sağlıklı ve mutlu bir yaşam dileriz.