Urodzony w Naumburgu w 1890 roku, Hube wstąpił do niemieckiej armii jako ochotnik w 1909 roku, służąc podczas I wojny światowej w stopniu porucznika. Brał udział w konflikcie od jego najwcześniejszych etapów, okaleczając lewą rękę we wrześniu 1914 r. w bitwie na froncie francuskim. Kalectwo nie przeszkodziło mu w powrocie na front rok później i dowodzeniu kompanią piechoty. Odznaczony za męstwo, spędził lata międzywojenne w armii niemieckiej jako dowódca kompanii i oficer szkoleniowy w Dreźnie.

Wraz z wybuchem II wojny światowej natychmiast zaangażował się w działania wojenne, biorąc udział w inwazji na Polskę we wrześniu 1939 r., a kilka miesięcy później w kampanii francuskiej na czele 16 Dywizji Piechoty. Po sukcesach na froncie zachodnim, został mianowany dowódcą nowej 16 Dywizji Pancernej i przeniesiony najpierw do Rumunii, a następnie na front wschodni, gdzie z powodzeniem uczestniczył w ukraińskim sektorze operacji Barbarossa.

Stamtąd Hube doszedł do stopnia generała porucznika. Niedługo po tym, jak objął dowództwo nad 14 Panzerkorps, wzięli oni udział w bitwie o Stalingrad. Gdy sytuacja Niemiec na froncie wschodnim stała się krytyczna, został ewakuowany w styczniu 1943 r. i wysłany na front śródziemnomorski na czele odtworzonego 14 Panzerkorps. Przeniesiony do Włoch w celu zorganizowania obrony przed aliantami, Hube objął dowództwo nad siłami Osi w operacjach obronnych na Sycylii. Z tej pozycji udało mu się spowolnić natarcie aliantów do tego stopnia, że był w stanie zorganizować ewakuację wojsk niemieckich z wyspy.

Po zarządzaniu odwrotem wojsk niemieckich po lądowaniu w Salerno i utworzeniu Linii Gustawa, Hube został ponownie przeniesiony na front wschodni, aby spróbować powstrzymać sowiecką kontrofensywę. Następnie powierzono mu dowództwo nad 1. Armią Pancerną, która od października 1943 r. poniosła szereg porażek z rąk Armii Czerwonej wzdłuż rzeki Dniestr.

21 kwietnia 1944 r. Hube zginął w katastrofie lotniczej w drodze powrotnej z obchodów urodzin Hitlera na Obersalzbergu.