ki
KI-System lernt Daten aus modernen Webseiten und APIs extrahieren
Traditionelle Methoden zur Wissensgewinnung aus Websites versagen bei modernen Single-Page-Anwendungen. Ein neues System von LLMCOD kann nun auch dynamisch geladene Inhalte aus JavaScript und offenen Schnittstellen verarbeiten.
- Viele moderne Websites liefern keine Daten im HTML-Code, sondern laden diese dynamisch per JavaScript vom API
- Das System kann jetzt sowohl klassische HTML-Seiten als auch SPAs und offene APIs als Wissensquelle nutzen
- Dies ermöglicht die Erstellung von Wissensbasien für RAG-Systeme auch bei technisch komplexen Websites
Mit der zunehmenden Verbreitung von Single-Page-Anwendungen stoßen traditionelle Web-Scraper an ihre Grenzen. Während Nutzer eine normale Seite sehen, liefert der Server lediglich JavaScript-Code, der dann im Browser die eigentlichen Daten nachlädt. LLMCOD hat seine Technologie erweitert, um diese Lücke zu schließen und automatisch auch auf dynamisch geladene Inhalte zugreifen zu können.