Apfel
Am Mittwoch veröffentlichte Apple Optimierungen, die es dem Stable Diffusion AI Imager ermöglichen, auf Apple Silicon mit Core ML, Apples proprietärem Framework für maschinelle Lernmodelle, zu laufen. Die Optimierungen werden es Anwendungsentwicklern ermöglichen, die Neural Engine-Hardware von Apple zu verwenden, um Stable Diffusion etwa doppelt so schnell wie frühere Mac-basierte Methoden auszuführen.
Stable Diffusion (SD), das im August auf den Markt kam, ist ein Open-Source-KI-Bildsynthesemodell, das mithilfe von Texteingabe neuartige Bilder generiert. Wenn Sie beispielsweise in SD „Astronaut auf einem Drachen“ eingeben, wird normalerweise ein Bild genau davon erstellt.
Durch die Veröffentlichung der neuen SD-Optimierungen, die als Konvertierungsskripte auf GitHub verfügbar sind, möchte Apple das volle Potenzial der Bildsynthese auf seinen Geräten freisetzen, was auf der Ankündigungsseite von Apple Research erwähnt wird. „Angesichts der wachsenden Zahl von Stable Diffusion-Apps ist es wichtig sicherzustellen, dass Entwickler diese Technologie effektiv nutzen können, um Apps zu entwickeln, die von Kreativen auf der ganzen Welt verwendet werden können.“
Apple nennt auch den Datenschutz und die Vermeidung von Cloud-Computing-Kosten als Vorteile der lokalen Ausführung eines KI-Generationsmodells auf einem Mac oder Apple-Gerät.
„Die Privatsphäre des Endbenutzers ist geschützt, da alle Daten, die der Benutzer als Eingabe für das Modell bereitstellt, auf dem Gerät des Benutzers verbleiben“, sagt Apple. „Zweitens benötigen die Benutzer nach dem ersten Download keine Internetverbindung, um das Modell zu verwenden. Schließlich ermöglicht die lokale Bereitstellung dieses Modells den Entwicklern, serverbezogene Kosten zu reduzieren oder zu eliminieren.“
Stable Diffusion rendert Bilder derzeit schneller auf High-End-Nvidia-GPUs, wenn es lokal auf einem Windows- oder Linux-PC ausgeführt wird. Beispielsweise dauert das Rendern eines 512×512-Bildes in 50 Schritten auf einer RTX 3060 auf unserem Rechner etwa 8,7 Sekunden.
Im Vergleich dazu ist die herkömmliche Methode zum Ausführen von Stable Diffusion auf einem Apple Silicon Mac viel langsamer und benötigt in unseren Tests auf einem M1 Mac Mini etwa 69,8 Sekunden, um ein 512 × 512-Bild in 50 Schritten mit Diffusion Bee zu erzeugen.
Laut Apple-Benchmarks auf GitHub können die neuen Core ML SD-Optimierungen von Apple in 35 Sekunden ein 512 × 512-Bild mit 50 Schritten auf einem M1-Chip ausgeben. Ein M2 erledigt die Arbeit in 23 Sekunden, und Apples leistungsstärkster Siliziumchip, der M1 Ultra, kann das gleiche Ergebnis in nur neun Sekunden erzielen. Das ist eine dramatische Verbesserung, die die Spawnzeit für den M1 fast halbiert.
Die GitHub-Version von Apple ist ein Python-Paket, das PyTorch Stable Diffusion-Modelle in Core ML konvertiert und ein Swift-Paket für die Modellbereitstellung enthält. Die Optimierungen funktionieren für Stable Diffusion 1.4, 1.5 und das neu veröffentlichte 2.0.
Im Moment richtet sich die Erfahrung der lokalen Einrichtung von Stable Diffusion mit Core ML auf einem Mac an Entwickler und erfordert einige grundlegende Befehlszeilenkenntnisse, aber Hugging Face hat eine detaillierte Anleitung zur Einrichtung von Apples Core ML-Optimierungen für diejenigen veröffentlicht, die dies möchten. experimentieren.
Für diejenigen, die weniger technisch versiert sind, erleichtert die oben erwähnte App namens Diffusion Bee die Ausführung von Stable Diffusion auf Apple Silicon, integriert jedoch immer noch nicht die neuen Optimierungen von Apple. Sie können Stable Diffusion auch auf einem iPhone oder iPad mit der Draw Things-App ausführen.