Lahir di Stuttgart, Juergen Klopp memulai karier kepelatihannya di mantan klubnya, Mainz 05. Sebelum menjadi seorang pelatih, Klopp menjalani karier sebagai pemain di sejumlah klub amatir di Liga Jerman.
Klub pertamanya ialah FC Pforzheim pada 1987, ia berposisi sebagai striker saat itu. Di klub ini ia hanya bermain setengah musim dan pindah ke Eintracht Frankfurt II. Di periode 80-an, Klopp hanya bolak balik main di klub amatir.
Baru pada awal 90-an, ia bergabung ke klub Bundesliga 2, Mainz 05. Hampir 5 musim sampai 1995, Klopp hanya menjadi striker cadangan di Mainz 05. Ia kalah saing dengan sejumlah striker lain seperti David Wagner, striker asal Amerika Serikat yang sekarang menjadi pelatih Huddersfield Town di Liga Inggris.
Di klub ini juga, Klopp bertemunya 'jodohnya' Zeljko Buvac, orang hebat di balik layar karier kepelatihannya. Buvac direkrut Mainz 05 pada musim 1992/93.
Tak kunjung jadi bomber ganas, pada musim 1995/96 Klopp pindah posisi. Pelatih Mainz 05 kala itu, Wolfgang Frank berspekulasi memainkan Klopp sebagai seorang bek kanan.
Spekulasi Frank tak keliru, Klopp justru jadi tembok besar untuk pertahanan Mainz 05. Â Ia bermain apik dengan bek lainnya seperti Uwe Stover dan Miroslav Tanjga, bek asal Serbia yang sekarang dikenal sebagai tangan kanan Sinisa Mihajlovic.
Kelak pergantian posisi ini membuat Klopp paham betul bagaimana sebuah tim bertahan dan menyerang.
"Aturannya adalah menjadi pilihan dalam menyerang atau menjadi pilihan dalam bertahan. Jika kita tidak terlibat dalam situasi menyerang maka kita harus bertahan," kata Klopp seperti dinukil dari kicker.de
Hasil nyata dari ucapan teoritis Kloop soal bagaimana tim menyerang dan bertahan bisa kita lihat di awal kepelatihannya bersama Liverpool. Pada 2016, dari 8 pertandingan, The Reds sukses meraih 6 kemenangan, 1 imbang, dan 1 kalah. Liverpool sukses mencetak 24 gol dan hanya kebobolan 9 gol.
Kembali ke musim-musim awal karier kepelatihan Klopp. Terus berkutat di kompetisi kasta kedua, Klopp akhirnya memutuskan untuk pensiun pada musim 1999/2000.
"Saya memiliki talenta divisi keempat dan isi otak divisi pertama. Hasilnya adalah divisi kedua," kata Klopp mengomentari kariernya yang tak pernah bermain di Bundesliga.
