Portkey AI è un gateway LLM e una piattaforma di osservabilità progettati per i team di ingegneria che costruiscono applicazioni generative in produzione. Lo strumento permette di instradare le richieste verso oltre 1.600 modelli (OpenAI, Anthropic, Google, open source) tramite un’API unificata, con fallback, cache, retry e guardrail integrati. Portkey aggiunge un livello di osservabilità ricco che traccia ogni richiesta (latenza, costo, qualità, errori) e fornisce ai team ML e prodotto la visibilità indispensabile per rendere affidabili le proprie app LLM in produzione.
Qu'est-ce que Portkey AI ?
L'essentiel
Portkey AI è una piattaforma SaaS che combina gateway LLM, osservabilità, guardrail, cache e gestione dei prompt. Il gateway espone un’API unificata compatibile con OpenAI in grado di instradare le richieste verso oltre 1.600 modelli: OpenAI, Anthropic, Google Gemini, Mistral, Cohere, Meta Llama, Azure OpenAI, AWS Bedrock e numerosi modelli open source. L’osservabilità registra ogni richiesta con i relativi metadati (costo, latenza, token, modello, utente, metadati personalizzati) e fornisce dashboard ricchi per analizzare performance, qualità e costi. Portkey si rivolge principalmente ai team di ingegneria, ML e prodotto che costruiscono e gestiscono applicazioni LLM in produzione. La piattaforma offre un cloud SaaS ospitato in US e UE, oltre a un’opzione self-hosted per le organizzazioni soggette a vincoli di sovranità o sicurezza.
Fonctionnalités principales
Portkey AI struttura la propria offerta attorno a diversi blocchi funzionali. Il Gateway è il cuore della piattaforma: espone un’API unificata verso oltre 1.600 modelli con routing intelligente, fallback automatico (se un modello non è disponibile, passaggio automatico a un altro), load balancing e retry configurabili. La Cache permette di memorizzare le risposte LLM identiche per ridurre i costi e migliorare la latenza. I Guardrail applicano automaticamente regole su input e output: rilevamento di PII, filtraggio di contenuti tossici, validazione del formato JSON, controllo delle allucinazioni o regole di business personalizzate. L’Osservabilità registra ogni richiesta con oltre 40 metadati (latenza, costo, token, utente, versione del prompt, guardrail attivati) e alimenta dashboard configurabili. Il Prompt Management centralizza i prompt con versioning, A/B testing e distribuzione progressiva. Portkey offre anche un modulo Valutazioni per misurare la qualità delle risposte LLM e un modulo Agenti per orchestrare workflow multi-step. La piattaforma si integra con LangChain, LlamaIndex, Hugging Face e numerosi framework IA, e fornisce SDK per Python, Node.js, Go e Java.
Cas d'usage
Portkey AI viene utilizzata per numerosi casi d’uso. Le startup SaaS che integrano una funzionalità IA generativa la utilizzano per instradare in modo intelligente tra più provider in base a costo o qualità. I team ML aziendali la usano per supervisionare le app LLM in produzione e individuare le fonti di degrado. I team prodotto gestiscono le sperimentazioni multi-modello tramite il prompt management e l’A/B testing. I CIO attenti alla sovranità dei dati distribuiscono Portkey in self-hosted per mantenere il controllo completo delle proprie richieste. Le agenzie IA offrono ai propri clienti un livello di osservabilità standardizzato senza reinventare la ruota. Infine, ricercatori e data scientist sfruttano Portkey per confrontare rapidamente più modelli sui propri set di dati. Tutti questi utilizzi condividono una logica comune: industrializzare l’uso degli LLM e mantenere il controllo economico e qualitativo.
Avantages
Il principale beneficio di Portkey è la resilienza: grazie al routing multi-provider e al fallback automatico, un’applicazione resta disponibile anche se un fornitore si blocca o rallenta. Il secondo beneficio è il controllo dei costi: un’osservabilità dettagliata, una cache integrata e la possibilità di instradare verso il modello più economico per ogni richiesta possono dimezzare o addirittura ridurre di un terzo la fattura LLM. Il terzo beneficio è la sicurezza grazie ai guardrail che proteggono da fughe di PII, prompt injection e contenuti tossici. Il quarto beneficio è la produttività dei team: il prompt management e le valutazioni accelerano le iterazioni. Infine, Portkey elimina il vendor lock-in e permette di sperimentare nuovi modelli senza riscrivere il codice applicativo.
Tarifs
Portkey AI propone un prezzo basato sull’utilizzo, incentrato sui log registrati. Il piano Free offre fino a 100.000 richieste al mese con accesso al Gateway e all’osservabilità di base. Il piano Pro a 25$/mese flat offre richieste illimitate e più log registrati, ideale per la maggior parte dei team in produzione. Il piano Production passa a un prezzo basato sull’utilizzo dei log, con sconti al volume. Infine, il piano Enterprise su preventivo aggiunge self-hosting, SSO, audit log, data residency e un account manager dedicato. Da notare: se si supera la quota di log, il Gateway continua a funzionare, ma le richieste non vengono più registrate nell’osservabilità.
Conclusion
Portkey AI si conferma nel 2026 come uno dei punti di riferimento imprescindibili degli stack di produzione IA generativa. La sua combinazione di gateway LLM, osservabilità, guardrail e prompt management ne fa uno strumento particolarmente prezioso per i team di ingegneria che costruiscono prodotti IA seri. Il controllo dei costi, la resilienza e la sicurezza offerti dalla piattaforma si traducono spesso in un ROI molto rapido. Per i progetti puramente sperimentali o mono-modello, lo strumento può sembrare sovradimensionato, ma per qualsiasi applicazione LLM in produzione, Portkey è un investimento particolarmente rilevante da considerare.