V šestdesetih in sedemdesetih letih prejšnjega stoletja je bil član skupine Yardbirds, kjer je zamenjal drugega legendarnega kitarista Erica Claptona. Skupina je bila takrat že vodilna v vse večjem britanskem gibanju električnega bluesa.
Njegov slog, ki je prišel močno do izraza v skladbah, kot sta Shapes of Things in Over Under Sideways Down, je glasbi dodali ekspanzivni element, ki je naznanjal nastajajočo psihedelično rockovsko revolucijo.
Nato je z Rodom Stewartom in Ronom Woodom ustanovil svojo skupino – kasneje znano kot Jeff Beck Group, s katero je leta 1968 izdal prvenec Truth.
V sedemdesetih letih je sestavil drugo zasedbo, trio z basistom Timom Bogertom in bobnarjem Carminom Appicejem, leta 1974 pa z albumom Blow by Blow začel svojo solo kariero. Blow by Blow je postal platinasta uspešnica in ostaja njegovo najbolj priljubljeno delo.
Beck je na svoji glasbeni poti pomagal pri uvedbi ali okrepitvi nekaterih pomembnih tehničnih inovacij na kitari. Razvil je uporabo popačenj in povratnih učinkov, ki jih je pred njim raziskoval Pete Townshend, okrepil je učinek upogibanja tonov na kitari in razširil obseg izraza, ki ga je mogoče doseči z napravami, ki so bile spremenjene na kitari, kot je whammy bar.
V zgodnjih osemdesetih letih se je omejil na nastopanje na dobrodelnih koncertih. Leta 1985 se je vrnil v studio z albumom Flash. S klaviaturistom Tonyjem Hymasom in nekdanjim bobnarjem Franka Zappe Terryjem Bozzio pa je leta 1989 posnel hardrockovski album Jeff Beck’s Guitar Shop.
