Der ungarische Violinist, Violinpädagoge und Dirigent studierte an der Franz-Liszt-Musikakademie Budapest u.a. bei Franz Gábriel, Zoltán Kodály und Leó Weiner.
Von 1949 bis 1986 war Varga Professor für Violine und Kammermusik an der Nordwestdeutschen Musikakademie Detmold, von 1989 bis 1993 Künstlerischer Leiter des „Orchestre des Pays de Savoie“.