1945 yılında Erzurum'un Aşkale ilçesi Dağlı Köyü'nde dünyaya geldi. Müzikle çok erken yaşlarda tanıştı. Bağlamayla 7 yaşında iken Erzincan'da 'Kumaş Dede'nin dükkanında tanıştı. Burası öyle bir dükkandır ki bağrında Davut Sulari, Aşık Daimi, Ali Ekber Çiçek, Aşık Beyhani, Kemter Yusuf v.b. yetiştirmiştir. 14 yaşına kadar aşıklık geleneğini öğrenip deyişler söylemeye başlayan sanatçı, sonraki yıllarda İstanbul'a gelir ve Aksaray Musiki Cemiyeti'nde Nida Tüfekçi'nin öğrencisi olur.

Bu dönemlerde müzikal altyapısını oluşturma dönemidir. 1960 ve 70'li yıllar Arif Sağ için müzikte arayış yıllarıdır. Arif Sağ'ın, bu dönemin toplumsal hareketlerinin müzikle bağdaşan yanlarından çok, piyasadaki ve resmi kurumlardaki müzik uygulamalarına ağırlık verdiği söylenebilir. İlk plağı "Gafil Gezme Şaşkın Bir Gün Ölürsün"ü bu dönemde, 1963'te çıkarmıştır. 1965'de İstanbul Radyosu'na bağlama sanatçısı olarak girer. Bu yıllarda Sağ'ın piyasadaki faaliyetleri de devam etmektedir. 45'lik plak dönemi olarak adlandırılan ve yaklaşık 20 yıl devam eden bu sürecin en parlak simalarındandır Arif Sağ... Bu süreçte 45'in üzerinde plak, 200'ün üzerinde beste yapar. Çeşitli sanatçılara bağlamasıyla eşlik etmesinin yanında, yine bu dönemde bestelerini de pek çok sanatçıya okutur. Yapılan müzik bugünkü terminolojiyle bir tür arabesk-fantazi benzeridir; bestelerinde ise yerel motifleri çok sık kullanır. Bu da onun halk müziğinden kopamadığı gerçeğinin bir başka göstergesidir. 1975'de kurulan "İstanbul Devlet Türk Müziği Konservatuarı"na "öğretim üyesi" olarak giren Arif Sağ, halk müziği ve bağlama konusundaki akademik çalışmalarını da bu dönemde başlatır. 1982'de konservatuardan ayrılarak, kendi adına "Arif Sağ Müzik Evi"ni kurar. Bu arada Musa Eroğlu, Muhlis Akarsu ve Yavuz Top gibi bağlamanın diğer ustalarıyla Muhabbet serisinin ilk albümünü hazırlar. Uzun bir zamana yayılan bu birlikte çalışma, beş albüm ortaya çıkarır.

1982 yılında İstanbul'da Şan Tiyatrosu'nda ilk 'Bağlama Resitali'ni verir. Sonrasında bu dönemlerde Avrupa'nın bir çok ülkesi ile Uzakdoğu'da (Japonya'da) halk müziğimizi ve halk çalgımızı tanıtıcı çalışmalar yapar.

Ülkemizde müzik alanında kişisel renklere ve üstün yeteneklere sık rastlanmasına rağmen, bağlama çalgısında bir ekol yaratan sanatçı sayısı parmakla sayılacak kadar azdır. İşte bunlardan birisi ve -şimdilik - sonuncusu Arif Sağ'dır. Bağlamaya teknik bakımdan hakim olduğu kadar Arif Sağ'ın icrası, yerel tavırlar, repertuar ve duygu bakımından da zenginliklerle doludur. Halk müziği ve bağlama alanında özgün arayışlarını yoğunlaştırarak sürdüren Arif Sağ, bir dönem (1987-1991) parlamentoda "milletvekili" olarak bulunan ilk sanatçıdır.

5 Mayıs 1996'da Almanya Cumhurbaşkanı Roman Herzog'un desteği ile Köln Flarmoni Orkestrası ile Köln Flarmoni Salonu'nda verdiği konserle Anadolu müziğinin batıya tanıtılmasına ciddi katkılar koymuştur.

1996 yılında Köln Senfoni Orkestrası eşliğinde Erdal Erzincan ve Erol Parlak 'la birlikte Köln'de verdiği konser büyük ilgi görür ve yine aynı yıl Cumhurbaşkanlığı tarafından verilen özel ödülü alır.

Son olarak 21. 01. 2000 - 05. 02. 2000 tarihleri arasında, İspanya'nın ünlü Flamenko gitaristi Toma Tito ile Avrupa'nın 12 ayrı şehrinde konserler vererek bağlamanın yurt dışında tanınmasını ve hak ettiği övgüyü almasını sağlamıştır.