Né à Naumburg en 1890, Hube s'engage comme volontaire dans l'armée allemande en 1909 et sert pendant la Première Guerre mondiale avec le grade de lieutenant. Il participe au conflit dès ses débuts et se mutile la main gauche en septembre 1914 lors d'une bataille sur le front français. Cette infirmité ne l'empêche pas de retourner au front un an plus tard, à la tête d'une compagnie d'infanterie. Décoré pour sa bravoure, il passe l'entre-deux-guerres dans l'armée allemande en tant que commandant de compagnie et officier instructeur à Dresde.

Au début de la Seconde Guerre mondiale, il s'engage immédiatement en participant à l'invasion de la Pologne en septembre 1939 et, quelques mois plus tard, à la campagne de France à la tête de la 16e division d'infanterie. Après ses succès sur le front occidental, il est placé à la tête de la nouvelle 16e division blindée et transféré d'abord en Roumanie, puis sur le front oriental, où il est déployé avec succès dans le secteur ukrainien de l'opération Barbarossa.

À partir de là, Hube se retrouve au rang de général de corps d'armée. Peu de temps après avoir pris le commandement du 14e Panzerkorps, il participe à la bataille de Stalingrad. La situation de l'Allemagne sur le front de l'Est devenant critique, il est évacué en janvier 1943 et envoyé sur le front méditerranéen à la tête d'un 14e Panzerkorps reconstitué. Transféré en Italie pour organiser la défense contre les Alliés, Hube prend le commandement des forces de l'Axe lors des opérations de défense en Sicile. De cette position, il réussit à ralentir l'avance des Alliés au point de pouvoir organiser l'évacuation des troupes allemandes de l'île.

Après avoir géré la retraite des troupes allemandes suite au débarquement de Salerne et mis en place la ligne Gustav, Hube est à nouveau réaffecté sur le front de l'Est pour tenter d'enrayer la contre-offensive soviétique. Il est alors placé à la tête de la 1ère Panzerarmee qui, à partir d'octobre 1943, subit une série de défaites face à l'Armée rouge le long de la rivière Dnestr.

Le 21 avril 1944, Hube est mort dans un accident d'avion alors qu'il revient des célébrations de l'anniversaire d'Hitler sur l'Obersalzberg.