A 13 anni esegue in pubblico i Capricci di Paganini, a 15 si aggiudica il Primo premio al Concorso di Ginevra e due anni dopo, nel 1958, è vincitore assoluto del "Paganini" di Genova. Il suo repertorio spazia dalla musica barocca a quella contemporanea. Autori come Sciarrino, Donatoni, Piston, Piazzolla e Xenakis gli hanno dedicato le proprie composizioni. Suona regolarmente con grandi orchestre, affiancando all’attività di solista, dal 1987, quella di direttore d’orchestra. In quest’ultima veste ha collaborato con molti importanti complessi europei e americani, salendo sul podio dell’Opera di Roma, Opéra di Montecarlo, Opéra di Lille, Teatro di San Carlo. Nel 1992, per il bicentenario rossiniano, dirige a Pesaro e a Roma la prima moderna della Messa di Gloria nella revisione critica curata dalla Fondazione Rossini. Sempre da direttore, collabora con la Philharmonia di Londra. Nel 1971 dà vita alle "Settimane Musicali Internazionali" di Napoli e, in seguito, al Festival per archi di Cremona. Attento alla formazione dei giovani musicisti, istituisce nel 1986, ancora a Cremona, i Corsi di Perfezionamento della Fondazione "Stauffer". Nel 1992, poi, fonda il Quartetto Accardo. Le sue incisioni dei Capricci e dei Concerti per violino di Paganini per la DGG sono un classico. Con la Filarmonica della Scala diretta da Giulini ha registrato il Concerto in Re maggiore e le due Romanze di Beethoven per la Sony Classical.
Ha inciso "Omaggio a Heifetz" e "Omaggio a Kreisler", l’integrale delle Sonate per violino e pianoforte di Brahms e i Quartetti di Schubert. Nel corso della sua prestigiosa carriera, Accardo ha ricevuto il Premio "Abbiati" della critica italiana, ed è stato nominato Cavaliere di Gran Croce, da Pertini, nel 1982. In occasione della tournée in Estremo Oriente del 1996, il Conservatorio di Pechino lo ha nominato "Most Honorable Professor". Nel 1999 è stato insignito dell’ordine "Commandeur dans l’ordre du mérit culturel" dal Principato di Monaco. Ha ridato vita all’Orchestra da Camera Italiana, formata dai migliori allievi dei Corsi di Perfezionamento dell’Accademia "Stauffer". Nel 2001 gli è stato conferito il prestigioso premio "Una vita per la Musica". E’ tornato di recente al San Carlo, dove nei primi anni Novanta aveva ricoperto la carica di Direttore musicale. Possiede due Stradivari, lo "Hart" ex Francescatti 1727 e l’"Uccello di Fuoco" ex Saint-Exupéry 1718.