|
Advantech, ein führender Anbieter von AIoT-Plattformen und -Services, kündigt ein neues Software-Angebot an - GenAI Studio für das Advantech Edge AI SDK, um der wachsenden Nachfrage nach kosteneffizienten On-Premises-Lösungen für große Sprachmodelle (LLM) gerecht zu werden. Diese Initiative hat zum Ziel, die Einführung von LLMs für Entwickler sowie für kleine und mittlere Unternehmen (KMUs) zu erleichtern, indem sie die Abhängigkeit von GPUs deutlich verringert. Dadurch werden die Kosten gesenkt und eine breitere Nutzung generativer KI-Technologien ermöglicht.
Beschleunigung der KI-Entwicklung zur Bewältigung der Herausforderungen in der Industrie
Als Teil des Advantech Edge AI SDK Software-Angebotes adressiert GenAI Studio die Probleme der Industrie, wie die Verkürzung der Wartezeiten von Produktionsmitarbeitern auf wichtige Informationen und die Erleichterung der Dokumentationsarbeit von medizinischem Fachpersonal. Die kostengünstige No-Code-Plattform vereinfacht die Einführung von LLM und ermöglicht es Unternehmen, KI-Lösungen schnell und effizient bereitzustellen, wodurch Produktivität und betriebliche Effizienz gesteigert werden. GenAI Studio wurde für das Advantech Edge AI SDK entwickelt und nutzt eine vielseitige LLM-Plattform mit einzigartigen Integrationsmöglichkeiten sowohl für lokale als auch Cloud-basierte LLMs, einschließlich OpenAI, Gemini, Anthropic und Ollama. Außerdem bietet es eine Funktion zur vollständigen Feinabstimmung, die für Umgebungen mit begrenzten GPU-Ressourcen optimiert ist und eine breitere Zugänglichkeit sowie Leistungsverbesserungen ermöglicht.
GenAI Studio bietet eine umfassende Tool-Suite für die Entwicklung von LLMs:
• Integrierte Fine-Tuning- und Inferenz-Services: GenAI Studio kombiniert Feinabstimmungs- und
Inferenzfunktionalitäten, um die Hardwareauslastung zu maximieren und eine flexible sowie effiziente
Ressourcenzuweisung zu ermöglichen.
• Erweitertes GPU-Ressourcenmanagement und Task-Scheduling: Mit diesen Features können User die
Leistung der KI-Hardware optimieren und so die Wirtschaftlichkeit von hochwertigen Geräten verbessern.
Der rasante Aufstieg von KI hat den Bedarf an zugänglichen LLM-Lösungen deutlich gemacht, doch viele Unternehmen werden durch begrenzte Ressourcen eingeschränkt. Das Advantech Edge AI SDK löst diese Herausforderung, indem es ein Toolset anbietet, das eine effiziente Evaluierung, Entwicklung und Bereitstellung von Edge-AI-Anwendungen ermöglicht. Zum Beispiel kann die Feinabstimmung eines LLM mit 70 Milliarden Parametern, die gewöhnlich über 30 GPUs mit je 48 GB Speicher erfordert, unter Einsatz des Advantech Edge AI SDKs mit nur 4 GPUs durchgeführt werden. Dies entspricht einer Reduzierung des Ressourcenbedarfs um 87 %, was die Kosten drastisch senkt und LLM-Lösungen leichter realisierbar macht.
Ermöglichung von KI-Innovationen mit Advantechs GenAI Studio und Edge AI Server
Als Ergänzung zu GenAI Studio bietet der AIR-520 Edge AI Server von Advantech eine robuste Hardwareplattform, die mit NVIDIA RTX GPUs und Phison AI SSDs ausgestattet ist. Diese Integration bietet zuverlässige, hocheffiziente Computing-Funktionen, die den Anforderungen von KI-Anwendungen in den verschiedensten Branchen wie etwa Fertigung, Gesundheitswesen und Einzelhandel gerecht werden.
Advantech Edge AI SDK: Optimierung der Arbeitsabläufe von der Feinabstimmung des Modells bis zur Bereitstellung
Das Advantech Edge AI SDK ist eine vollständig integrierte Plattform für die nahtlose Entwicklung von Edge AI. Mit vorkonfigurierter Hardware und optimal abgestimmter Software bietet sie eine Plug-and-Play-Lösung, die eine kosteneffiziente LLM-Anpassung, nahtlose Toolkit-Kompatibilität und das unkomplizierte Management von groß angelegten Edge-Bereitstellungen ermöglicht. Das Advantech Edge AI SDK wurde mit Zuverlässigkeit, Skalierbarkeit und Benutzerfreundlichkeit im Blick entwickelt und vereinfacht den Weg zur KI-Innovation. Es enthält drei Kernkomponenten:
• GenAI Studio: Ermöglicht die kostengünstige Erstellung, Evaluierung und Integration von maßgeschneider-
ten On-Premises LLMs.
• Inferenz-Kit: Ermöglicht die schnelle Optimierung und Bewertung effizienter KI-Laufzeiten, die mit eingebette-
ten Betriebssystemen kompatibel sind.
• Orchestrierungsplattform: Bietet eine effiziente Verwaltung von KI-Modell- und Anwendungsupdates in groß
angelegten Edge-Bereitstellungen durch die Integration von MLOps für optimierte Abläufe.
Advantech verbessert mit seinem Edge AI SDK und dem neu hinzugefügten Softwaremodul GenAI Studio die Fähigkeit von Unternehmen, KI-Lösungen effizienter und kostengünstiger zu entwickeln und bereitzustellen.
Über Advantech
Mit mehr als 8600 Mitarbeitern weltweit und einer ueber 40-jährigen Erfolgsgeschichte ist das Unternehmen globaler Marktführer von innovativen Produkten, Systemen, Dienstleistungen und Lösungen rund um die Welt des Embedded IoT. Zu unseren Stärken zählen die umfassende Systemintegration von Embedded Hard- und Software, sowie kundenorientierte Design-In-Dienstleistungen für wie z. B. Industrie 4.0 IoT-Anwendungen, Robotics, Medical. Einen weiteren Schwerpunkt bilden maßgeschneiderte kundenspezifische Lösungen (Advantech DMS – Design & Manufacturing Service), die u. a. durch den Rückgriff auf die weltweit breiteste Palette von Embedded-Standardprodukten häufig eine besonders kurze Time-to-Market ermöglichen.
Advantech in Europa
Als der führende Anbieter hat die Advantech Europe BV nicht nur das breiteste Angebot für Embedded Produkte, Lösungen und Design-in Services. Mit über 25 Jahren lokaler Präsenz in Europa bietet das Unternehmen auch hier integrierte Embedded Building-Blocks und kundenspezifische Anpassungen und Entwicklungen für IoT Lösungen, die alles vom Sensor-Knoten über Embedded PCs und Gateways bis hin zu IoT Cloud Plattformen umfassen. Über 550 Mitarbeiter sind in den verschiedenen europäischen Ländern vor Ort für unsere Kunden da. (https://www.advantech.com/en-eu/)
Advantech in Deutschland
Advantech Europe B.V.
Hochdahler Strasse. 14
D-40724 Hilden
Tel. +49-2103 97 885 0
Advantech Büro in München:
Industriestrasse 15
D-82110 Germering/München
Tel : +49 89 125 990
Advantech Europe Design Center:
Fuggerstrasse 9
D-92224 Amberg
|
Advantech Germany, Munich Office
