Amazon maakt AI-chatbots sneller met slimme verzoekroutering
Amazon heeft een nieuwe functie uitgebracht die maakt dat AI-taalmodellen je vragen sneller beantwoorden. Door vergelijkbare verzoeken naar dezelfde computer te sturen, kan het systeem eerder werk hergebruiken en reactietijden met meer dan de helft verkorten.
Wanneer je met een AI-chatbot praat, is er meestal een klein vertraagje voordat het begint met typen. Amazon heeft zojuist een manier aangekondigd om dat vertraagje flink in te korten met een techniek die "prefix-aware routing" heet.
Zo werkt het in gewone bewoordingen: stel je voor dat je meerdere vragen stelt die allemaal op dezelfde manier beginnen — bijvoorbeeld "Vertel me over de geschiedenis van..." gevolgd door verschillende onderwerpen. In plaats van elke vraag apart te behandelen, herkent het nieuwe systeem deze gemeenschappelijke start en stuurt al deze verzoeken naar dezelfde computer. Zo kan de AI informatie hergebruiken die het al heeft voorbereid, in plaats van opnieuw te beginnen.
Bij tests met een groot AI-model reduceerde deze benadering de wachttijd voor het eerste antwoord met tot wel 77%. Dat is een enorm verschil. Voor dagelijkse gebruikers betekent dit dat chatbots en AI-assistenten sneller voelen — minder alsof ze nadenken, meer alsof ze al klaar staan om antwoord te geven.
De functie is nu beschikbaar via Amazon SageMaker Inference, het platform dat Amazon bedrijven aanbiedt voor het uitvoeren van AI-modellen. Het is vooral handig voor situaties waarin veel mensen vergelijkbare vragen stellen of waar dezelfde context herhaaldelijk wordt gebruikt.
Originele bron: Amazon.com