В 1963 году Джеффа представили участнику коллектива The Rolling Stones Яну Стюарту, которые помог юному гитаристу организовать проект Nightshift. В студии Piccadilly были записаны две первые композиции, после чего Бек начал выступать в одном из ночных клубов Лондона. В течение небольшого периода парень также выступал в ансамбле Rumbles и оттачивал свой талант игры на гитаре.
Серьезная карьера музыканта для Бека началась в группе Tridents. Она исполняла блюзовые композиции и R&B-песни, которые нравились гитаристу. В течение года он выступал в составе этой команды, а параллельно работал музыкантом в The Fitz и Startz, с которыми были записаны треки "Parlophone" и "I'm not Running Away".
Весной 1965 года Джефф попал в известную группу Yardbirds на место Эрика Клэптона, после чего коллектив начал трудиться над пластинкой Roger the Engineer. В следующем году на место Бека начал претендовать Джимми Пейдж, а через некоторое время Джефф ушел из коллектива. После этого он записал два сольных хита "Tallyman" и "Hi Ho Silver Lining".
Вскоре музыкант решил организовать собственный коллектив и назвал его Jeff Beck Group. В состав вошли вокалист Род Стюарт, барабанщик Микки Уолтер, басист Джет Харрис, гитарист Ронни Вуд и пианист Ники Хопкинс. Этот коллектив записал два успешных альбома, но в 1969 году распался из-за разногласий между участниками. После этого Бека звали в Pink Floyd и Rolling Stones, но он решил занять место в коллективе A. N. Other, с которым записал четыре трека.
Через некоторое время Jeff Beck решил создать новую группу, которая получила название The Jeff Beck Group. Осенью 1971 года коллектив пополнился новыми участниками и записал дебютный альбом Rough and ready из семи композиций. Это положило начало формированию фирменного стиля артиста, который был основан на элементах R&B, соула и джаза.
Когда вышла вторая пластинка, коллектив сменил состав – в нем появился новый вокалист. После этого состоялся большой тур по США, Великобритании и Нидерландам. Сам альбом получил заголовок Beck, Bogert & Appice.
В 1975 году Джефф отдельно от коллектива выпустил сольные пластинки Wired и Blow by Blow, которые подтвердили уникальное мастерство гитариста. Эти альбомы занимали высокие позиции в чартах. В 1980 году он записал новый альбом There & Back с композициями, сочиненными вместе с Яном Хаммером. После релиза музыкант отправился в длительные гастроли. Многие оргнаищаторы старались заказать выступление Джеффа Бека на частные мероприятия.
В 1982 году появился еще один сольный альбом – Flash. Основным хитом в плейлисте стал "People Get Ready", который был исполнен совместно с Родом Стюартом.
В 1985 году Джефф взял творческий перерыв на четыре года, а затем выпустил альбом Jeff Beck's Guitar Shop. Следующим релизом стала пластинка Who Else!, в которую вошли треки "Plan B" и "Dirty Mind". Эти композиции принесли музыканту статуэтки Грэмми.
В 2000-х артист много гастролировал и записал два альбома x (2001) и Jeff (2003)
В 2009 году звезду добавили в Зал славы рок-н-ролла, а почетный сертификат ему вручил бывший коллега Джимми Пейдж. В следующем году Джефф представил альбом Emotion & Commotion, а в 2014 году отправился в большое мировое турне. В 2016 году состоялся релиз студийного альбома Loud Hailer, который стал 11 по счету в дискографии музыканта.