Nvidia PAIR samler hjemmets GPU-er for å kjøre AI-agenter dobbelt så raskt

Et nytt gratisverktøy fra Nvidia kalt PAIR – Personal AI Router – ruter AI-agentoppgaver på tvers av flere datamaskiner i hjemmenettverket ditt, og behandler samlingen din av gaming-PCer, arbeidsstasjoner og til og med Mac-er som én samlet inferenskluster. Ideen er enkel nok: de fleste AI-tunge datamaskiner står uvirksomme mesteparten av tiden, og lokale AI-arbeidsmengder bygges i økende grad rundt agenter som utløser dusinvis av uavhengige deloppgaver samtidig. PAIR kobler sammen de ledige syklusene.

Programvaren fungerer som en transparent proxy på toppen av Ollama og LM Studio, de to mest populære lokale inferensverktøyene, så eksisterende oppsett trenger ingen kodeendringer. Når den er installert på hver maskin, bruker PAIR mDNS – samme protokoll som skriveren din bruker for å dukke opp på nettverket – for å oppdage kompatible enheter automatisk. En ledende agent sender inn arbeidet sitt som vanlig, og PAIR avgjør hvilken maskin som håndterer hvilken deloppgave basert på hvilke modeller hver maskin har tilgjengelig. Ingen identisk oppsett kreves på tvers av maskiner: en gaming-PC som kjører Llama 3.3 og en bærbar med Mistral kan samarbeide om samme jobb.

Referansemålingen Nvidia publiserte gjør forskjellen konkret: en oppgave med fem underagenter som tok 18 minutter på en enkelt RTX Spark-bærbar, ble fullført på 8 minutter og 48 sekunder på tvers av et kluster med tre enheter. Det er omtrent en dobling av hastigheten uten å røre en linje kode eller betale for skydatabehandling. Gevinsten skalerer med antall maskiner og arbeidsmengdens natur – oppgaver som brytes ned i mange parallelle deler, har størst nytte.

Personvern er det andre salgsargumentet, og det er det mer varige. Hver eneste prompt, fil og del av agentkontekst forblir på hjemmenettverket ditt. Ingenting rutes til en skybasert inferenstjeneste; det finnes ingen API-nøkkel, ingen bruksmåling, og intet selskap som mottar spørringene dine. For alle som kjører agenter på sensitive dokumenter – juridiske utkast, medisinske notater, personlig korrespondanse – betyr det skillet mer enn referansetall.

Forbeholdene er reelle. PAIR tilbyr ingen garantert tjenestekvalitet: hvis maskinen du regnet med våkner GPU-en for et spill eller videoeksport, omfordeler PAIR den arbeidsmengden til det som ellers er tilgjengelig. Verktøyet er åpent designet for langvarige oppgaver der fristen er fleksibel, ikke for applikasjoner der latens må være forutsigbar. Det er også betaprogramvare. Nvidia markedsfører dette mot entusiaster med minst én kompatibel maskin – et GeForce RTX 20-serie-kort eller nyere, eller Apple M4-serie silisium – og forventningen om at de allerede kjenner veien rundt Ollama.

PAIR er gratis, åpen kildekode og tilgjengelig i beta nå på tvers av Windows, macOS og Linux. Nvidia har ikke annonsert en veikart for QoS-garantier eller en stabil utgivelsesdato. Den praktiske minstegrensen for å dra nytte av det er to maskiner med kapabel maskinvare, noe som utelukker de fleste enkeltdatamaskinoppsett. For brukere som allerede kjører Ollama på mer enn én enhet hjemme, er inngangsbarrieren lav nok til å rettferdiggjøre eksperimentet.

Tagger: Nvidia, Open Source, KI-agenter, lokal KI, Ollama, PAIR