Yılmaz İpek İzmir’in Yapıcıoğlu semtinde 22 aralık 1936 yılında dünyaya gelen Yılmaz İpek’in babası iri yapısı nedeniyle Kalın Mustafa lakabıyla tanınan Mustafa İpek, annesi Hatice İpek’tir. Hayata bir marangoz olarak atılan Mustafa Bey, saza olan ilgisi nedeniyle zamanla işini bağlama yapıcılığına çevirmiştir. O dönemde İzmir’de iyi saz çalan kişilerden biri sayılmakta, özellikle Konya mızrabını iyi atabildiği için Konya türküleri çalıp taksimler yapmaktaydı.
1943 yılında başladığı İnkılap Okulunda, öğretmeni Piraye Hanımın teşvikiyle dördüncü sınıfta mandolin dersleri almaya başlayan Yılmaz İpek, babasının “ne yapacaksın mandolini” demesi üzerine mandolin derslerine gitmekten vazgeçmiş, Piraye Hanımın tüm ısrarlarına rağmen derslere dönmemiştir, fakat o dönemlerde henüz bağlamaya da ilgisi yoktur. Piraye Hanım Yılmaz İpek’in müziğe olan yeteneğini ilk fark eden kişilerden biri olmuştur. Yılmaz İpek, dönemde radyo ve televizyon olmaması nedeniyle, müziğe olan ilgisini babası ve arkadaşlarının sazlı sözlü toplantılarını dinlemekle gidermiştir. Bu da onda bir alt yapı oluşmasına sebep olmuştur.
Bir kış günü, ud çalmasını bilen annesi Hatice Hanım eşinin bağlamasını almış, “Oğlan Oğlan Kalk Gidelim, Sigarayı Feneri Yak Gidelim” adlı türküyü çalmaya çalışırken Yılmaz İpek heveslenmiş, bağlama ile bu parçayı çalıp çalamayacağını merak etmiştir. Annesinden bağlamayı istemiş ve türküyü bir çırpıda çalmıştır. İşte bu türkü ve bu olay onun müzik yaşantısının dönüm noktalarından biridir. Türküyü o kadar rahatlıkla çalabilmesi onun heveslenmesine neden olmuştur.
İlkokuldan sonra 1948 yılında Mithat Paşa Erkek Sanat Enstitüsü’ne yazılmış fakat ikinci sınıftayken ablası Münevver Hanım, Şemsi Yastıman ile evlenip İstanbul’a yerleşince, kızının hasretine dayanamayan Mustafa bey, Yıldız Sarayı’nın karşısında iki katlı bir ev alarak İstanbul’a taşınmıştır. Bu nedenle eğitimi yarıda kalan Yılmaz İpek İstanbul’da eniştesi Şemsi Yastıman’ın da girişimleriyle o dönemde Türkiye’nin en iyi ud ve bağlama yapımcısı olan Agop Usta’nın yanına çırak verilmiştir. Agop Usta’nın Kapalı Çarşı’daki dükkânı döneminde ünlü bütün sanatçıların uğrak yeridir. Bayram Aracı, Mucib Arcıman gibi devrin en iyi bağlama sanatçıları sık sık Agop Usta’yı ziyarete, bazen de sazlarını tamire getirmektedirler. Yılmaz İpek bir yandan sedef eğirirken, bir yandan da dükkâna gelip bağlama çalanları dinleme şansı bulmuştur. O sıralarda İstanbul’da öğrenim gören Hamit Çine ile çok güzel zeybek oynayan Bergamalı Murat Efe de dükkânın müdavimlerindendir. Bu sayede isimlerini saymakla bitiremeyeceğimiz sanatçıları tek tek dinleyip onlardan çok şey öğrenen Yılmaz İpek, doğuştan gelen yeteneğini iyice geliştirme fırsatı bulmuştur.
İlerleyen yıllarda bu kez de İzmir’in özlemine dayanamayan Mustafa Bey, Beşiktaş’taki dükkânını Şemsi Yastıman’a bırakarak yeniden İzmir’e döner. Yapıcıoğlu’ndaki Halkevi’ne gitmeye başlayan Yılmaz İpek Turan Sözkesen’in korosuna katılır ve orada nota dersleri almaya başlar. Bir yandan Halkevi çalışmalarına katılırken, bir yandan da 15 günde bir İzmir Radyo Evi’nde solo programlar yapmaktadır. Radyoda solo olarak yaptığı bu programlar, kısa pantolonla gidecek kadar küçük yaşta yapmıştır.
1953 yılında Mustafa Hoşsu, Muzaffer Sarısözen tarafından İzmir Radyosu’na Yurttan Sesler şefi olarak atanır. Aynı dönemde radyo sanatçılarından Aladdin Seçgel, Mustafa İpek’in dükkanına gidip gelmekteyken Yılmaz İpek’i dinler ve Mustafa Hoşsu’ya bahseder. Mustafa Hoşsu Yılmaz İpek’i dinledikten sonra, sanatçıdan daha önce solo program yaptığı İzmir Radyo Evi’nde seans başına 17 lira maaşla Yurttan Sesler Korosunda görev almasını ister. Bir süre burada çalıştıktan sonra askerlik çağı gelen Yılmaz İpek, askerden dönünce yine İzmir Radyo Evi’nde, Ankara’dan gelen bir heyet tarafından sınava alındıktan sonra kadrolu sanatçı olarak, ayda 501 lira maaşla işe devam eder.
Yılmaz İpek bu arada hem babası hem de Agop Usta’dan öğrendikleriyle bağlama imalat işine girmiş, kendi geliştirdiği yöntemlerle üretiminin hem kalitesini, hem miktarını arttırmıştır. 1970 yılında Radyo’da açılan Şeflik sınavını kazanan Yılmaz İpek ömrünün günlerine kadar daha sonra TRT adını alan kurumda koro şefliği yapmaya devam etmiştir.
1960 yılında Gülşen Erkaslan ile hayatını birleştiren Yılmaz İpek’in bu evlilikten Hulki Rıza, Hulkiye ve Hilkat Emir adında üç evladı olmuştur.