Künstliche Intelligenz (KI,AI) Neuigkeiten und Diskussion

bieten wir den Kunden heute selbst als Service an ohne Lizenzkosten
Genau so etwas wird in der Softwarebranche unumgänglich werden. Man wird für die Basics kein Geld mehr verlangen können.


Die Entwickler der Zukunft werden sich mit dem Kunden zusammensetzen und dessen Bedürfnisse in Prompts für eine KI umsetzen. Aus den Entwicklern werden Berater und Manager werden (müssen). Bei Programmänderungen wird nicht mehr der Sourcecode geändert, es wird einfach das ganze Programm mit einem geänderten Prompt neu generiert.

Was natürlich dem künftigen IT-Mitarbeiter als Aufgabe bleiben wird, das sind entsprechende Tests der Software vor dem Einsatz ins Produktivsystem. Bei der Definition von Aufgaben werden natürlich so wie heute Fehlern passieren, falsche, missverständliche, unvollständige oder nicht eindeutige Angaben werden auch in Zukunft vorkommen.

Interessant ist für mich die Frage, wie gut das generierte Coding einer KI ist. Bisher war es normal, dass dem Entwickler beim Umsetzen der Anforderung in den Quellcode der eine oder andere Fehler passiert. Macht eine KI vergleichbare Programmierfehler? Da fehlt mir die Erfahrung.

Generell stellt sich für mich die Frage, wie in Zukunft Fehler gesucht werden. Stundenlange Debugging-Sessions, wie ich sie zu meiner Zeit noch machten musste, werden in einem generierten Coding nicht mehr möglich sein. Aber ich bin mir sicher, auch dafür wird es Lösungen geben 😂
 
Zuletzt bearbeitet:
Genau so etwas wird in der Softwarebranche unumgänglich werden. Man wird für die Basics kein Geld mehr verlangen können.
Das ist ja noch mehr … jahrzehntelang haben wir uns der Software angepasst als Menschen … mehr oder weniger Hilfskrücken … das kleinste Übel für den Durchschnitt der Menschen … jetzt ist jeder in der Lage seine eigene Arbeitsumgebung selbst zu erschaffen. Also ein kompletter Paradigmawechsel….

Meine komplette arbeitsumgebung besteht mittlerweile aus Claude Code und entsprechenden Remote Anbindungen ( ob Claude Code / Hermes / Codex ist egal ) … Eingabe erfolgt mittlerweile auch über Sprache da ich im tippen zu langsam bin … um effektiv mit Claude zu arbeiten

Ich stelle Kunden zum Beispiel auch eine Kommunikation mit meinen Instanzen zur Verfügung:
Ein kleiner Kunde hat einen Webshop… den baut er sich gerade neu auf … er schreibt meiner Instanz nur noch seine Änderungen… die fragt bei Unklarheiten und Problemen nach … setzt die Wünsche um und meldet Vollzug … der Kunde schaut sich das an … und bestätigt die Änderungen oder nimmt sie zurück …
Wie @keks35 das beschrieben hat … wäre früher ein 10k oder mehr Projekt gewesen … jetzt zahlt der Kunde ein geringe Pauschale für die Bereitstellung der Infrastruktur ( Webserver / KI ) und erzeugt selbst seine „ideale Seite“ betreut durch Sonett 5.5 Agenten ( zweit kleinstes Modell bei Antropic )
Bilderzeugung und Bearbeitung gibt Sonett an lokale LLMs ab und überwacht diese …
 
Meine komplette arbeitsumgebung besteht mittlerweile aus Claude Code und entsprechenden Remote Anbindungen ( ob Claude Code / Hermes / Codex ist egal ) … Eingabe erfolgt mittlerweile auch über Sprache da ich im tippen zu langsam bin … um effektiv mit Claude zu arbeiten
Wow.

Auf der einen Seite bin ich froh, dass ich mittlerweile in Pension bin und mich all das nicht mehr berührt.
Auf der anderen Seite regt sich im Techniker in mir so etwas wie Neugierde um zu erfahren, was jetzt alles mit einem vertretbaren Zeitaufwand möglich geworden ist.

Ist aber zugegeben ein ziemliches Luxusproblem 😂😂😂
 
  • Like
Reactions: 1 user
Aus einem Redebeitrag in einer Wirtschaftssendung gestern oder vorgestern auf tagesschau24 (sinngemäß wiedergegeben):
Was die AI/KI-begeisterten Unternehmen derzeit kaum auf dem Zettel haben sind die (sich verteuernden) Token-Kosten.
Da wird wohl nochmal eine Gegenrechnung aufgemacht werden müssen.
 
Wäre aber wahrscheinlich nicht unklug, sich mal die grossen Softwareplayer anzusehen und sich mit OTM Puts einzudecken. So kommt man dann vielleicht auch gut über die Rente als Entwickler/ITler 😉
Bin ähnlich erstaunt, warte aber auch noch auf meinen dienstlichen Claude, freu mich aber auch schon drauf. Momentan macht mich chat gpt eher wahnsinnig, weil er so fehlerhaft/schludrig ist. Entweder stell ich mich noch teilweise echt zu blöd an, oder er taugt da einfach nicht so viel...
 
Momentan macht mich chat gpt eher wahnsinnig, weil er so fehlerhaft/schludrig ist.
Alle LLM haben ihre Ungenauigkeiten/Halluzinationen. Eine Antwort geben zu müssen, ist Ihnen antrainiert.
Die Fehler- bzw. Halluzinationsquopte senken könntest du mit zwei regelnden Anweisungen zu Beginn des prompts:
- Du wirst nicht dafür bestraft, etwas nicht zu wissen. Es ist in Ordnung, zuzugeben, dass du unsicher bist.
- Wenn dir ausreichender Kontext fehlt, stelle eine klärende Frage. Wenn du dir bei einem Fakt nicht sicher bist, gib das explizit an und erkläre, warum.

Das kann die Halluzinationsquote deutlich senken.
 
Ein Aspekt der hier kaum besprochen wird ist der Sicherheitsaspekt. Ich erlebe eigentlich täglich das bei meinem Kunden einfach alles in Copilot und Co kopiert wird, ohne Sinn und verstand. Von Passwörtern, API Token und sensiblen Kundendaten ist alles dabei. Auch wenn die ganzen Anbieter immer wieder versichern das die Daten nicht zum Trainieren der KI und "sicher" in einer privaten und dedizierten Instanz wären(dedicated tenant) so habe ich jetzt selbst schon 2 Mal das Gegenteil erlebt.

Beide Male hatte ich mit MS 365 Copilot Instanz von verschiedenen Kunden gearbeitet. Ich war am Anfang erstaunt wie Copilot Informationen aus sämtlichen Meetings(Teams mit Autodiktat), eMails und MS Sharepoints sowie interen Websites heran gezogen hat. Was natürlich sehr praktisch ist da man nicht jedesmal alles zusammen suchen muss zum eine Thema und Copilot diese Informationen im Kontext einbezieht.
Bei beiden muss ich über ein Virtual Desktop Infrastruktur (VDI) arbeiten damit keine Daten raus und keine Schadsoftware ins Unternehmen kommt. Ich kann keine eMail außerhalb des Kunden senden und selbst Copy?Paste ist in in Citrix(wer es nicht kennt ist eine Art von Remote Desktop), was ich benutzen muss um mich in die VDI zu verbinden, blockiert.
Dort habe ich unterschiedliche UserIDs etc. Trotzdem hat mir Copilot Antworten gegeben die zu 100% darauf schließen lassen das die Information aus einem Chat in der anderen Umgebung des anderen Kunden kamen.

Das hat mich in eine dumme Situation gebracht. Melde ich dies dem Kunden, so wird mir wahrscheinlich vorgeworfen ich hätte auch Nachlässigkeit die falsche Instanz benutzt und so die Informationen "geleacked". Was aber in dem Setup unmöglich ist. Das man einem externen Berater mehr Glaubwürdigkeit schenkt als MS halte ich in dem Zusammenhang für unwahrscheinlich.

Aber auch bei meiner Beratertätigkeit fallen mir halt immer wieder die oben erwähnten Nutzerfehler auf. Und das kann sogar gegen geltendes Recht verstoßen. Füttert eine Bank oder Versicherung eine Ki die außerhalb der EU gehostet wird mit persönlichen Daten ihrer Kunden kann das schon ein Verstoß gegen EU Datenschutz Recht sein.

Es aber im privaten haben einige Leute schon böse Überraschungen erlebt. Es gibt genug Berichte über Clawdbot und andere Tools wo tausende User quasi mit herunter gelassener Hose im Internet standen.
Man muss sich halt nur selbst fragen warum sollten Unternehmen kostenlose Kontingente für ihre KI einrichten, wirklich nur zum ausprobieren. Oder doch um mit den Daten ihre KI zu trainieren oder Daten über die Nutzer zu sammeln.

Noch ein paar Tips um Token zu sparen.
Ladet keine Bilder von Texten, PDFs oder Word Dokumente hoch. Diese haben sehr viel mehr Informationen als den reinen Text um den es geht. MS hat das Tool Markitdown veröffentlich das den Text extrahiert und als Markdown exportiert, was man dann als Input für eine Ki nehmen kann.
Wer englische Texte von KI generieren lässt, der sollte die KI anweisen die Texte nach dem Standard "ASD-STE100" zu erstellen. Der kommt aus der Raum- und Luftfahrt und beschreibt wie Texte sachlich aber verständlich sein sollen.
Nutz eine "freie" KI wie die von der Google Suche um euch einen Prompt für eine KI schreiben zu lassen. Die macht dann die Planung und in der anderen KI verbraucht ihr weniger Token.
Seid sehr spezifisch in euren Prompts. Wenn das Ergebnis nicht das ist was man erwartet hat liegt das in der Regel daran das die Anweisung nicht genau genug waren.
 
Aus einem Redebeitrag in einer Wirtschaftssendung gestern oder vorgestern auf tagesschau24 (sinngemäß wiedergegeben):
Was die AI/KI-begeisterten Unternehmen derzeit kaum auf dem Zettel haben sind die (sich verteuernden) Token-Kosten.
Da wird wohl nochmal eine Gegenrechnung aufgemacht werden müssen.
Man muss den sinnvollen Einsatz von KI prüfen … in 90 Prozent der mit bekannten Unternehmen wird ein Frontier Model genutzt um sich Kochrezepte du suchen oder Power Points zu erstellen … das ist natürlich Wahnsinn.

Ladet keine Bilder von Texten, PDFs oder Word Dokumente hoch. Diese haben sehr viel mehr Informationen als den reinen Text um den es geht. MS hat das Tool Markitdown veröffentlich das den Text extrahiert und als Markdown exportiert, was man dann als Input für eine Ki nehmen kann.
Wer englische Texte von KI generieren lässt, der sollte die KI anweisen die Texte nach dem Standard "ASD-STE100" zu erstellen. Der kommt aus der Raum- und Luftfahrt und beschreibt wie Texte sachlich aber verständlich sein sollen.
Das sind immer die Fehler dienten Verbrauch explodieren lassen +1 @oldsleepi

Ich mache das Esteban anders um das zum Beispiel bei Log Analysen zu umgehen. Ich habe lokale LLMs die die Logs vorher sichten und destillieren und dann nur das destillat an das Frontier Modell geben … das überprüft erst einmal generell die Plausibilität ( Halus des LLM ) und stellt dann die Diagnose … was sonst ca 1 Millionen Input Token wären reduziert sich so auf ein paar hundert.
Ein Aspekt der hier kaum besprochen wird ist der Sicherheitsaspekt. Ich erlebe eigentlich täglich das bei meinem Kunden einfach alles in Copilot und Co kopiert wird, ohne Sinn und verstand. Von Passwörtern, API Token und sensiblen Kundendaten ist alles dabei. Auch wenn die ganzen Anbieter immer wieder versichern das die Daten nicht zum Trainieren der KI und "sicher" in einer privaten und dedizierten Instanz wären(dedicated tenant) so habe ich jetzt selbst schon 2 Mal das Gegenteil erlebt.
Für den Fall habe ich eine lokales Datenschutz LLM … die Daten fließen erst durch eine lokales LLM .. das prüft den prompt des Kunden entsprechenden ab und gibt ihn frei bzw. warnt den Nutzer
 
Aus einem Redebeitrag in einer Wirtschaftssendung gestern oder vorgestern auf tagesschau24 (sinngemäß wiedergegeben):
Was die AI/KI-begeisterten Unternehmen derzeit kaum auf dem Zettel haben sind die (sich verteuernden) Token-Kosten.
Da wird wohl nochmal eine Gegenrechnung aufgemacht werden müssen.
Ich sehe das ein bisschen entspannter: Viele Unternehmen und Nutzer haben sehr lange immer das neueste Frontiermodell für banale Aufgaben misbraucht. Es wird in Zukunft (und das ist es schon) einfach viel mehr differenziert werden, was für die jeweilige Aufgabe überhaupt gebaucht wird und dann ein passende Modell gewählt. Man muss halt nicht mit einem Lambo oder dem 40-Tonner einen Brief austragen. Hier ist das Fahrrad oder kleine Elektrokarren die bessere Wahl. Genause sehe ich LLM-Anwendungen, die völlig problemlos deterministrisch, also mit Regeln/Code gelöst werden können. Braucht dann praktische keine Rechenleistung und vermeidet auch jedes Datenschutz/Sicherheitsthema.
 
  • Like
Reactions: 1 user
Menü
Zurück
Oben Unten