I AI er dataene som behandles i minnet ofte de mest sårbare. Her er en oversikt over hvordan @nvidia konfidensiell databehandling sikrer dataene som er i bruk for å sikre at sensitive datasett, modellvekter og kode forblir beskyttet under opplæring og slutning. Dette er viktig i nulltillitsmiljøer, regulerte miljøer eller miljøer med flere leiere. 🧵👇

2/6: I motsetning til tilnærminger som kun er programvare, implementerer NVIDIA sikkerhet på maskinvarelaget i GPUene. Dette betyr at kryptering, isolasjon og attestering er innebygd i silisiumet, noe som reduserer risikoen for eksponering selv om systemprogramvaren er kompromittert.

3/6: Det fungerer ved at data krypteres i GPU-minne, og det kan til og med forbli sikkert mens du beveger deg over NVLink-sammenkoblinger gjennom TEE-inngang/utgang med nesten opprinnelige hastigheter. Dette forhindrer uautorisert tilgang fra andre prosesser, vertssystemet eller ondsinnede aktører med fysisk tilgang eller tilgang på programvarenivå.

4/6: Isolasjon oppnås gjennom NVIDIAs partisjoneringsfunksjoner på maskinvarenivå, spesielt Multi-Instance GPU (MIG)-teknologi. MIG gjør det mulig å dele én enkelt fysisk GPU inn i flere fullstendig isolerte forekomster, hver med sine egne dedikerte databehandlings-, minne- og hurtigbufferressurser. I modus for konfidensiell databehandling fungerer disse forekomstene som sikre enklaver, noe som sikrer at arbeidsbelastninger som kjører på én forekomst, ikke kan lese eller forstyrre dem på en annen. Dette isolasjonsnivået er avgjørende for miljøer med flere leiere, for eksempel skydistribusjoner, der flere kunders arbeidsbelastninger deler samme fysiske maskinvare.

5/6: Attestering gir det kryptografiske beviset på at GPU-en og fastvaren er i en klarert, umanipulert tilstand før arbeidsbelastninger begynner å kjøres. NVIDIAs attesteringstjenester bekrefter at maskinvaren er ekte, at fastvaren samsvarer med en godkjent versjon, og at den fungerer i konfidensiell modus. Dette er viktig i nulltillitsarkitekturer, siden det lar bedrifter sikre at AI-arbeidsbelastningene deres bare utføres i sikre, verifiserte miljøer. Attestering støtter også samsvar i regulerte bransjer, der beviselig maskinvareklarering er en forutsetning for håndtering av sensitive data.

6/6: En av de største fordelene er at du kan aktivere arbeidsbelastningsbeskyttelse uten å endre applikasjonskode! Det er ganske enkelt en konfigurasjonsendring – ideell for AI-datasamlebånd for bedrifter der omskriving av modeller vil være kostbart og forstyrrende. Les mer her: !