Künstliche Intelligenz (KI,AI) Neuigkeiten und Diskussion
- Ersteller Hibl
- Erstellt am
Nachdem ich mein neuen MacBook Pro mit M5 Pro Chip und 48GB RAM bekommen habe, wollte ich mal testen was man lokal laufen lassen kann. Nicht viel. Ausprobiert habe ich DeepSeek R1 Distill 14B was mit guter Performance(30Token/s) läuft. Das 32B (Distill) läuft schon merklich langsam mit gerade mal 15Token/s. Schon wesentlich performanter lief das Qwen 3.5 35B-A3B mit über 40 Token/s und manchmal fast 50. Das Gemma 4 26B-A4B kam mir noch schneller vor, gemessen hatte ich sogar Werte über 50Token/s.
Ich habe das Ollama 0.19+ mit MLX-Backend benutzt. Das ganze schwankte je nach länge des Kontext und wurde mit größeren Kontext bei allen Modellen langsamer. War aber zu erwarten. Die großen Modelle kann man darauf nicht laufen lassen. Ich werde aber mal einige Vergleiche zu minem Mac Studio mit M2 Pro und 128GB RAM machen wenn das Wetter am WE wieder mies ist.
Was die Ergebnisse, also die Qualität des abgelieferten Codes angeht war ich nicht positiv überascht, das ganze hat eher meine geringen Erwartungen bestätigt. Für einfache Aufgaben ok, aber aus einem Text einen komplexeren Algorithmus ableiten und in Code schreiben war eher ein Reinfall. Also wer sowas vor hat der sollte das Geld lieber in Token für ein Model oder einen Service wie Openrouter oder Cloudflare AI Router investieren.
Ich habe das Ollama 0.19+ mit MLX-Backend benutzt. Das ganze schwankte je nach länge des Kontext und wurde mit größeren Kontext bei allen Modellen langsamer. War aber zu erwarten. Die großen Modelle kann man darauf nicht laufen lassen. Ich werde aber mal einige Vergleiche zu minem Mac Studio mit M2 Pro und 128GB RAM machen wenn das Wetter am WE wieder mies ist.
Was die Ergebnisse, also die Qualität des abgelieferten Codes angeht war ich nicht positiv überascht, das ganze hat eher meine geringen Erwartungen bestätigt. Für einfache Aufgaben ok, aber aus einem Text einen komplexeren Algorithmus ableiten und in Code schreiben war eher ein Reinfall. Also wer sowas vor hat der sollte das Geld lieber in Token für ein Model oder einen Service wie Openrouter oder Cloudflare AI Router investieren.
Cryingfreeman
Bronze Member
Insider Mitglied
warum lässt du das auf looser Hardware laufen? Kauf dir vernünftige Hardware und dann ist die Performance auch besser ...
Mal für Dich zum Vergleich gerade durchgeführt:
Anhang anzeigen 1789758059599.png
B70 ist eine Intel GraKa mit 32 GB VRAM auf einem I7 : M4 ist ein standart Apple Silicon mit 16 GB ... deine Werte für den M5 sind voll in der Erwartung @oldsleepi ... denk aber Du hast zuviel erwartet von deinem Modell ... die sind super für Hintergrund Arbeiten ... aber damit "chatten" in RT ist schwierig
Das wird durch den Einsatzzweck bestimmt ... wenn ich die Leistung nicht brauche ... muss ich sie nicht einkaufen ... ist wie das 30igste TV Abo wenn man nur Netflix schaut
Was ist denn "loose Hardware" bzw deiner Meinung nach "vernünftige Hardware"??
Ich wollte halt mal wieder ein neues Laptop, wollte nur mal schauen was der M5 Pro Chips so kann. Für meine KI Experimente hatte ich mir schon vor 3 Jahren einen Studio mit M2 Ultra und 128Gb Ram gekauft. Der reicht für meine gelegentlichen Spielereien noch immer.
Die aktuellen Mac Studios sind "die" Hardware die im AI Bereich die überhaupt große Modelle laden können. Das aktuelle Model kann man mit 512GB Ram bestellen, wenn man das nötige Kleingeld hat. Und wer jetzt faselt das man auch Nvidia Karten und die DGX Spark zusammenschalten könnte um den Speicher zu erhöhen, tja ´kann man mit Macs auch machen...aber spätestens wenn man die Stromaufnahme vergleicht weis man was los ist.
Übrigens, wer sich für AI/KI interessiert und mal sehen will wie weit es schon bei Thema AI generierte Filme ist, einfach mal bei You nach Higgsfield Global AI Film Festival suche. Es gibt zig eindrucksvolle Kurzfilme.
Zuletzt bearbeitet:
Sind halt sehr unterschiedliche Einsatzgebiete ... kann man denke ich ganz gut sehen was allein die Intel mit 32 GB "wegreisst" mit selben Modellen ... da kommen die Apple Geräte nicht mit ... aber für Hintergrundarbeiten sind die ideal vom Preis / Leistungsverhältnis ... zum Beispiel große Indizierungsaufgaben mit OCR oder ähnliches ... die nicht Zeitkritisch sind ...
Also was Cuda, , das NVIDIA Softwareframework, kann ist schon beeindruckend ... das ist im Moment glaube ich noch der entscheidende Vorteil bei NVIDIA
Wie du schon schreibst, kommt auf den Fall an. Reine GPU Power, ja da liegt NVidia vorne. Aber ein großes Modell laden ohne 10kW Strom zu verbrauchen, naja. Die Frage wird halt sein was man von Apple AI Kernen noch erwarten kann.
Da kommt man auch schnell zum Thema Äpfel mit Birnen vergleichen. Ich kann zwar die kleinen Modelle auch im Mac Studio laufen lassen aber die großen eben nicht auf dem M5 Pro weil der Speicher fehlt. Ist es dann noch ein fairer Vergleich?!
Aber selbst wenn ich morgen im Lotto gewinnen würde, so würde ich mir wohl so schnell keinen neuen Mac Studio, vor allem aber nicht mit 512GB Ram kaufen
Da kommt man auch schnell zum Thema Äpfel mit Birnen vergleichen. Ich kann zwar die kleinen Modelle auch im Mac Studio laufen lassen aber die großen eben nicht auf dem M5 Pro weil der Speicher fehlt. Ist es dann noch ein fairer Vergleich?!
Aber selbst wenn ich morgen im Lotto gewinnen würde, so würde ich mir wohl so schnell keinen neuen Mac Studio, vor allem aber nicht mit 512GB Ram kaufen
Mal wieder was interessantes zum Thema gefunden, wenn das mit dem Bonsai Model nur für alle LLM gehen würde:
Auch den Vergleich der neuen Mac ist ganz interessant, aber vom Preis her ist es mir nicht Wert.
Auch den Vergleich der neuen Mac ist ganz interessant, aber vom Preis her ist es mir nicht Wert.
Ich habe die BonsaI Demo aus dem ersten Video mal auf dem MacBook M5 Pro getestet. Kann man mit arbeiten, wird aber auf einer RTX sicher viel performanter laufen. Wenn ich am WE mal wieder Lust habe spiele ich noch etwas herum. Das ganze in Visual Studio Code ein zu binden sollte nicht zu schwer sein, dann kann man mal die Coding Fähigkeiten testen.