Er is weinig informatie over zijn privéleven bewaard gebleven. Hij werd geboren in een katholieke familie in Beieren. Na zijn schooltijd werkte hij in een ijzerfabriek. Tegen de tijd dat hij voor de SS ging werken, was hij getrouwd en had hij twee kinderen. In 1926, op 21-jarige leeftijd, trok hij een bruin hemd aan toen hij toetrad tot de SA (uit het Duits: Sturmabteilung), de aanvalstroepen van de NSDAP. In Weiden, waar hij vandaan kwam, vormde hij met vrienden lokale SA- en Hitlerjugend-structuren. Hij was een van de eerste leden van de NSDAP. Tegelijkertijd begon hij elektrotechniek te studeren, waar hij in 1930 afstudeerde. Hij werkte als assistent op de school, maar werd na een tijdje ontslagen.

Weiss besloot zijn toekomst aan de SS te verbinden. Hij sloot zich aan bij de organisatie in 1932. Gezien het verloop van zijn carrière kan men raden dat hij, net als veel latere concentratiekampcommandanten, lid werd van het Dode Schedel Eskadron - SS-Totenkopfverbände, georganiseerd door Theodor Eicke. In de lente van 1933 werd hij bewaker in het concentratiekamp Dachau. Een paar maanden later werd hij dankzij zijn gespecialiseerde opleiding meer dan vijf jaar lang ingenieur in hetzelfde kamp en vervolgens adjudant van de latere Dachau-commandanten Hans Lortiz en Alex Piotrowski.

Martin Weiss moet erkend zijn voor zijn bijdrage aan het Derde Rijk tijdens zijn dienst in Dachau, want al na het uitbreken van de Tweede Wereldoorlog kreeg hij de opdracht om het concentratiekamp Neuengamme te organiseren. Neuengamme was de locatie waar Zyklon B werd getest voor mogelijk gebruik op gevangenen. Martin Weiss kreeg ook de opdracht om het concentratiekamp Arbeitsdorf uit te breiden, waar 800 gevangenen uit Neuengamme naartoe werden overgebracht. Dit kamp werd opgericht in de buurt van Wolfsburg en de gevangenen daar moesten goedkope arbeidskrachten leveren voor de bouw van de nieuwe Volkswagen auto, die goedkoop was en beschikbaar voor alle Duitsers. In die tijd had Weiss het gezag over beide kampen.

Oswald Pohl, hoofd van het economisch en administratief hoofdbureau van de SS, wilde dat de omstandigheden van de gevangenen in de kampen verbeterden. Hij deed dit niet om morele redenen, want hij geloofde dat betere omstandigheden ervoor zouden zorgen dat de gevangenen langer zouden leven en dat de Duitse industrie ze daarom langer als gratis arbeidskrachten zou kunnen gebruiken. Toen Weiss in 1942 de positie van commandant van het kamp Dachau kreeg, werd hij daarom zwaar bekritiseerd door Pohl voor de omstandigheden in het kamp. Weiss volgde de bevelen van Pohl op, maar de terreur in het kamp ging door. Toen Weiss van 1942 tot eind 1943 commandant was, werden er tientallen doodvonnissen voltrokken. Tijdens het naoorlogse proces tegen de kampstaf van Dachau verklaarde Weiss dat dit doodvonnissen waren tegen Gestapo-gevangenen, die werden uitgevoerd op bevel van Himmler.

Uit deze periode, toen Weiss de eerste commandant van Dachau was, komen verslagen waarin staat dat de omstandigheden in het kamp waren verbeterd. Slagen werd onder andere verboden en het werd toegestaan om voedselpakketten naar gevangenen te sturen.

Weiss werd naar het kamp in Lublin gestuurd de dag na het bloedbad, de zogenaamde Aktion Erntefest, toen meer dan 17.000 mensen werden vermoord in Majdanek op één dag op 3 november. Weiss nam het op zich om de situatie na het bloedbad onder controle te houden. Martin Weiss voerde het bevel over Majdanek tot april 1944.

Daarna werd hij naar het subkamp Muhldorf gestuurd, waar Luftwaffe-droegen werden opgezet met behulp van gevangenenarbeid. Geconfronteerd met de ineenstorting van het front en de nadering van de Amerikanen, drong Weiss, die zichzelf terugvond in Dachau, naar verluidt aan op de overgave van het kamp aan de Geallieerden, waarbij hij de bevelen van Himmler negeerde om het kamp in brand te steken en alle sporen van criminele activiteiten uit te wissen. De dag voordat de Amerikanen binnenkwamen, ontsnapte Weiss echter uit Dachau. Een dag later werd hij gearresteerd in München.

Tijdens het proces tegen de Dachau staf, dat plaatsvond in november/december 1945, werd Weiss schuldig bevonden aan misdaden tegen de menselijkheid voor daden die hij had begaan tijdens zijn periode als commandant van Dachau en de andere kampen. Hij werd ter dood veroordeeld en het vonnis werd voltrokken op 29 mei 1946.