Diffusion
PACT zertifiziert Tokens bei Diffusions-Sprachmodellen
PACT ist eine trainierungsfreie Commit-Regel für die parallele Decodierung maskierter Diffusions-Sprachmodelle. Sie zieht die Tokens zuerst und prüft anschließend, welche davon tatsächlich geschrieben werden.
- Paralleles Decoding ermöglicht es Diffusions-Sprachmodellen, mehrere Tokens pro Durchlauf zu schreiben.
- Die vorgeschlagene PACT-Regel bestimmt die Tokens zunächst durch Sampling und zertifiziert die daraus geschriebene Menge.
- Die Qualität einer Antwort hängt laut den untersuchten Beziehungen von der Zuverlässigkeit der tatsächlich geschriebenen Tokens ab.
Bei der parallelen Decodierung maskierter Diffusions-Sprachmodelle werden in einem Durchlauf mehrere Tokens erzeugt. Bisherige Commit-Regeln prüfen die vorhergesagten Verteilungen, während die daraus gezogenen Tokens bei der Stichprobe nicht berücksichtigt werden. PACT adressiert diese Lücke mit einer trainierungsfreien Regel, die die geschriebenen Tokens vorab zertifiziert.
Quelle: arxiv.org/abs/2611.04152
Diese Meldung wurde automatisch mit KI-Unterstützung aus der verlinkten Quelle zusammengefasst. Details bitte in der Quelle prüfen.