Inferenz bezeichnet den Einsatz eines trainierten KI-Modells: Es erhält eine Eingabe und berechnet daraus eine Ausgabe, etwa eine Antwort auf eine Frage.
Was bedeutet der Begriff?
Bei künstlicher Intelligenz unterscheidet man zwei Phasen: das Training, in dem ein Modell aus großen Datenmengen lernt, und die Inferenz, in der das fertige Modell angewendet wird. Jedes Mal, wenn ein Sprachmodell eine Frage beantwortet, findet eine Inferenz statt. Dafür wird Rechenleistung benötigt, entweder bei einem Anbieter in der Cloud oder auf eigener Hardware.
Für die Praxis ist Inferenz aus drei Gründen wichtig. Erstens bestimmt sie die laufenden Kosten, die sich meist nach der verarbeiteten Textmenge richten. Zweitens entscheidet der Ort der Inferenz über den Datenschutz: Wo rechnet das Modell, und wer sieht die Eingaben? Drittens beeinflusst sie die Geschwindigkeit. Für die Auswahl eines Modells lohnt es sich daher, Qualität, Kosten, Tempo und Verarbeitungsort gemeinsam zu betrachten.
Beispiel aus einem KMU
Ein Beispiel aus einem KMU: Ein Unternehmen nutzt ein Modell, um eingehende E-Mails zu klassifizieren. Jede einzelne Klassifikation ist eine Inferenz. Die Kosten und die Antwortzeit hängen davon ab, wie groß das Modell ist und wie viel Text pro Anfrage verarbeitet wird (siehe Token).