Jeff Cohen ha studiato al Conservatorio Peabody di Baltimora, con Lillian Freundlich, prima di trasferirsi in Francia per studiare pianoforte e musica da camera al Conservatorio Nazionale di Parigi con Reine Gianoli e Geneviève Joy. Ha continuato gli studi con Leon Fleisher e Peter Feuchtwanger.
Come pianista, Cohen ha collaborato con numerosi cantanti e strumentisti come Roberto Alagna, John Aler, June Anderson, Cecilia Bartoli, Jane Birkin, Dale Duesing, Jean-Paul Fouchécourt, Angela Gheorghiu, Ivry Gitlis, Ida Haendel, Sumi Jo, Steve Lacy, Noël Lee, Ute Lemper, François Le Roux, Dame Felicity Lott and Mady Mesplé, per citarne alcuni.
Ha realizzato numerose registrazioni, tra cui un recital dal vivo alla Scala con Angela Gheorghiu, varie compilation di mélodie francese con François Le Roux, di Kurt Weill e canzoni per cabaret con Ute Lemper, oltre ad esecuzioni a due pianoforti con Noel Lee. Ha assistito direttori d'orchestra come Sir George Solti, Christopher Hogwood, John Nelson e Michel Plasson nelle registrazioni con Decca ed EMI.
Lo scorso novembre, Jeff Cohen ha ricoperto la carica di direttore musicale ed è stato pianista nella produzione dell'Opéra Français de New York "Debussy e Poe". E' stato il pianista nella produzione operistica "Impressions de Pelléas" di Peter Brook e nella messa in scena dell'opera teatrale "Masterclass" di Roman Polanski a Parigi. Dirige la produzione de Der Dreigroschenoper di Giorgio Strehler e assiste Myung-Whung Chung nell'Otello della stagione inaugurale all'Opera Paris Bastille.
La televisione francese ha trasmesso "Jeff d'orchestre" per diversi anni, uno spettacolo scritto e presentato da Jeff Cohen per introdurre la musica ai bambini. Ha anche composto musica originale per lungometraggi, spettacoli teatrali e balli.
Cohen risiede a Parigi ed è attualmente professore di mélodie e Lied al Conservatoire National. Nel giugno del 2006 Jeff Cohen è stato nominato Cavaliere delle Arti e delle Lettere dal governo francese.