Artbreeder, Leonardo, NightCafé

Alastor schrieb:Bezüglich der Bilder: Vielleicht könntest du ja mal etwas über die verschiedenen Tools und deren Vorzüge schreiben, sowie den genauen Weg wie du die Bilder erstellen lässt.
Ich denke für den ein oder anderen (auch für mich Very Happy) ist das durchaus interessant... ich schau mal ob ich einen KI Bereich erstelle. So oder so wird das immer mehr, und da ich nicht möchte, dass KI Texte in der SChreibwerkstatt auftauchen, wäre das vielleicht eine Möglichkeit über so ein unterforum zu kanalisieren.

Da Alastor mich in meinem ersten Charakterquiz-Thread gebeten hat, mal etwas über die verschiedenen KI-Tools zu schreiben, die ich so verwende, hier eine kurze Übersicht.

Artbreeder (https://www.artbreeder.com/)
Damit fing alles an. Artbreeders Hauptstärke ist immer noch, wie der Name schon sagt, aus zwei Bildern ein neues zu erzeugen, indem es sowohl die Konturen als auch den Stil der beiden Bilder ineinander überblendet — das kann man jeweils mit Reglern einstellen. Am Anfang ging das nur mit Gesichtern / Portraits; mittlerweile auch mit anderen Bildern. Zudem hat Artbreeder jetzt auch einen Text-zu-Bild-Generator, wie die meisten anderen AI-Plattformen. Ich finde die Text-zu-Bild-Generationen allerdings relativ gering von der Auflösung — dafür kostet es nichts.
Bei Portraits hat Artbreeder weiterhin seine größte Stärke, da man hier an vielen Details drehen kann, ähnlich wie sonst nur in Elder Scrolls-Spielen. (Augenfarbe, Haarfarbe, Kopfneigung, man kann verschiedene ethnische Herkünfte ineinander überblenden usw.). Wenn man nah rangeht, sieht man bei vielen Portraits allerdings manchmal etwas verschwommene / halb-durchsichtige Linien entlang des Kiefers.
Die mit Artbreeder erzeugten Bilder landen in der Public Domain.


Artbreeder-Portrait von Commander Theresa Kendrick vom Generationenraumschiff Exodus (meinem aktuellen WIP)


DreamStudio (stabiliti.ai, https://beta.dreamstudio.ai/generate) und Dream by WOMBO (https://dream.ai/)
Meine ersten Gehversuche, welche ich hauptsächlich für Landschaften verwendet habe — die Charaktere, die WOMBO gezeichnet hat, sahen doch oft noch sehr Comic-haft aus. Hier soll man jeweils die Website angeben, wenn man die Bilder verwendet, soweit ich die Terms of Service im Kopf habe.

NightCafé (https://creator.nightcafe.studio/)
Deutlich intuitiver zu benutzen als die beiden oben genannten, und die Ergebnisse sehen im Schnitt auch deutlich besser aus, wie ich finde.
Wenn man die kostenlose Version verwendet, gibt es jeden Tag 5 Credits, wobei 4 Bilder üblicherweise zwischen 2 und 4 Credits kosten.
Hier mal eine Übersicht über vier Bilder, die in einem Zug mit demselben Text Prompt erstellt wurden:

The Last Winged Unicorn, so wie beschrieben im gleichnamigen Song von Rhapsody of Fire

Wie ihr seht, hat eines der Einhörner zwei Hörner. Aber ansonsten stimmt es. Vor allem bin ich froh, dass die Anzahl der Beine stimmt — damit haben nämlich manche anderen AIs gerade bei Pferden so ihre Probleme.


Leonardo.AI (https://leonardo.ai/)
Für mich gerade mit Abstand das beste AI-Artwork-Tool — das war es mir auch wert, eine Subscription abzuschließen. Vor allem, weil einem hier die erstellten Bilder dann auch selbst gehören — zumindest laut Nutzungsbedingungen. Wenn das natürlich vor Gericht generell noch einmal anders aussieht, hat Leonardo darauf vermutlich keinen Einfluss. (Leonardo selbst sitzen in Australien.)
Was immer diese „Alchemy“-Pipeline ist, die Ergebnisse sind deutlich besser von der Qualität als vieles, was ich z.B. mit den beiden Dream-Websites erreichen konnte (wenngleich NightCafé mittlerweile manchmal schon nah drankommt). Seht selbst:


Commander Theresa Kendrick auf der Brücke des Generationenraumschiffs Exodus

Seit kurzem gibt es auch bei einigen Modellen auf der Leonardo-Website bzw. der App die Möglichkeit einer „Character Reference“.
Damit kann ich z.B. das oben gezeigte Artbreeder-Portrait hochladen, damit der Charakter in jedem neuen Bild möglichst gleich aussieht. Das sieht dann so aus:


Commander Theresa Kendrick vor der Crew der Exodus in der Haupthalle

Man kann auch weitere Bilder hochladen, um von einem z.B. das Charakter-Gesicht, von einem anderen den Stil / die Stimmung (Farbgebung, Licht etc.) zu verwenden.


Es gab auch noch eine andere Website, wo Public-Domain-Seiten wie Pixabay direkt eingebunden waren. Die muss ich nochmal suchen, weiß den Namen gerade nicht mehr — ich habe sie nicht viel verwendet, aber vor allem, um Darstellungen von bestimmten berühmten Orten zu machen bzw. abzuwandeln. Mit Wahrzeichen etc. hat die AI nämlich so ihre Probleme. Den Eiffelturm bekommt sie noch hin (wobei sie einem dann gerne mehrere Eiffeltürme ins Bild setzt), aber die Wahrzeichen weniger bekannter Städte dann eben nicht.

Eine weitere Kuriosität: Wenn ihr irgendetwas im Sci-Fi-Bereich malen lasst, rechnet damit, dass euch die AI amerikanische Flaggen auf die Uniformen / Raumanzüge der Charaktere klatscht. Ich schreibe daher mittlerweile „USA flag, American flag“ standardmäßig in meine negativen Prompts hinein (also das, was ich NICHT sehen möchte). Ebenso wie „adidas logo, Nike logo“, weil die gerne auch mal auf Uniformen landen, wenn diese etwas an Sportoutfits erinnern.

Kleine Details kann man aber z.B. auch im Nachhinein noch ändern, ohne dafür in Photoshop herumhantieren zu müssen. Bei Leonardo geht das im „Canvas Mode“. So z.B. bei dieser jungen Dame hier, wo Leonardo nicht mehr hinbekam als ein einzelnes rotes Kreuz auf der Schulter und ich die anderen vier ergänzen musste. Außerdem hatte sie vorher ein Namensschild auf der Brust, worauf allerdings nur Gekritzel stand. Nachdem ich viele Tokens darauf verwendet hatte, Leonardo dazu zu bekommen, ihren Nachnamen korrekt auf dieses Schild zu schreiben, habe ich das Namensschild einfach entfernt.
Wichtig: Im Canvas Mode können die editierten Bilder momentan noch nicht auf der Leonardo-Website gespeichert werden, d.h. man muss sie direkt runterladen, wenn man sie behalten will. Und dann halt im Zweifel eine Sicherheitskopie machen oder sie in einem anderen Cloud-Service hochladen, wenn man sie online haben möchte.


Fähnrich Nina Meladze, auf dem Farm-Ring des Generationenraumschiffs Exodus


Probleme hat die AI also meistens bei:
- Händen / Fingern (bekannt, weil man Hände in so vielen verschiedenen Konfigurationen sieht und die AI das nicht versteht)
- Gliedmaßen allgemein (die sind gerne mal verbogen, oder zu viele, wie bei den Pferden)
- Buchstaben (die erkennt die AI nämlich auch nicht; positive Ausnahme hier: das neue „Leonardo Phoenix“-Modell von Leonardo.AI)
- Wahrzeichen (s. oben); das klappt besser, wenn ihr ein echtes (gemeinfreies) Foto vom betreffenden Wahrzeichen als Ausgangsbasis nehmt

Hier mal ein Beispiel, was NightCafé.AI aus dem Hochzeitspalast in Aschgabat, Turkmenistan macht, wenn man ihm ein Original-Foto vorgibt und „Depth to Image“ verwendet, damit es die Konturen übernimmt. (Die Nordlichter über dem Gebäude waren Teil des Prompts; es soll hier um einen besonders heftigen Sonnensturm gehen, der im ersten Prequel meiner Geschichte auftritt.)





Es gibt natürlich noch mehr — im musikalischen Bereich zum Beispiel. Obwohl ich zum Singen nicht auf AI angewiesen bin , gibt es doch bestimmte Passagen, die man mal von einer anderen Stimme interpretiert hören möchte — oder man holt sich zum eigenen Live-Gesang noch ein paar AI-Background-Sänger dazu.

Hier wäre zum einen Synthesizer V von Dreamtonics zu nennen — tendenziell eher für Lead Vocals gedacht, aber man kann natürlich mehrere Spuren verschiedener Einzelstimmen kombinieren, um einen Chor zu erzeugen. So habe ich mal einen AI-Chor die Hymne meines Generationenraumschiffs singen lassen . Die meisten der Stimmen-Packs für Synthesizer V sind auf japanisch / chinesisch ausgelegt, aber es gibt auch ein paar, die konkret für Englisch gemacht sind (Solaria, Natalie, Kevin, Hayden, und Asterian verwende ich bisher; die „Default“-Stimme heißt Mai und ist eigentlich für Japanisch gedacht. Sie kann auch auf Englisch singen, dann aber mit einem gewissen japanischen Akzent / Timbre. )

Wenn es konkret Chöre sein sollen, gibt es auch noch von East West den Hollywood Choir, Symphonic Choir, und die Backup Singers. Alle drei haben einen „Word Builder“, denen kann man also ebenfalls sämtliche Worte in den Mund legen. Hier muss man allerdings den kompletten Text ins Textfeld schreiben und dann darin ein bisschen hantieren, bis die Verteilung der Silben auf die Noten stimmt. In Synthesizer V ist das leichter, weil man den Text direkt an den einzelnen MIDI-Noten verändern kann (aber auch da kann man ihn „zentral“ in einem Text-Eingabefeld vorgeben).

Hast du schonmal Bing Designer (oder wie auch immer das jetzte heißt) versucht? Ist eigentlich Dall-E3, nur kostenlos.

rechtlich tut sich da noch viel.
Gab aber zumindest schon in den USA eine richterliche Entscheidung zu einem AI-comic wonach der Autor/die Autorin nur Urheberechte über alles nicht-KI generiert (also Text) behielt, während alle KI generierten Inhalte nicht vom Urheberrecht geschützt sind. Das Urteil sagte ebenfalls etwas über Hybrid-werke aus, kann mich aber nicht mehr genau dran erinnern.

Heyyyy!
Ich nutze noch super gerne Copilot. Da sind GPT 4 und Dall-E 3 kostenlos eingebunden. Wobei man nur 15 Bilderprompts pro Tag und Account erstellen kann. Die Ergebnisse sind heftig gut, nur kann die KI leider nicht Bilder verändern. Also jedes Bild, das man erstellt, ist komplett neu.


Ich hoffe, ihr könnt die Bilder sehen. Alle 3 zeigen die drei verfluchten Waffen, wie ich sie in meinem Hauptprojekt verwende. Wie ihr seht, hat das Programm mangels Angabe des Settings jeweils eine zufällige Kontext-Darstellung gewählt. Die Waffen (goldener Stab, blauer Kristall Stab und Kurzspeer) sind aber auf eine Fantasy-Weise interpretiert und sehr detailliert dargestellt.

Der Prompt für den Kristallstab war:
„heyyy, ich schreibe gerade an einem Fantasyroman und würde mir super gerne ein paar Sachen visualisieren lassen. Hilfst du mir bitte dabei? Als erstes würde ich gerne die verfluchten Waffen sehen, allen voran den Kristallstab. Er ist hergestellt aus einer Mischung aus Silber und Platin und mit hellblauen, durchscheinenden und klaren Kristallen besetzt. Oben am Kopf des Stabs sitzt ein großer Kristall im Alt-Schliff, der den Geist des letzten Drachens enthält. Gib mir doch bitte ein Bild davon im Fantasy Art Stil. Dankiiiii!“

Danke für die Vorschläge! Insbesondere die, wo Dall-E (das mir für sich genommen schon bekannt war) mit eingebunden ist.

Klappt das mit Gegenständen in den Händen von Charakteren damit denn besser? Ob Pfeil und Bogen oder bloß ein Regenschirm, bei Leonardo und vielen anderen geht das oft schief (dann läuft die Bogensehne durch den Kopf des Charakters o.ä.).

Hallo Strato Incendus,

danke für die Vorstellung der KI-Tools, die du zur Erstellung deiner Charaktere nutzt.
Gleich als ich deine Beschreibungen im Charakterquiz gelesen habe, habe ich dann auch Artbreeder und Leonardo ausprobiert.
Anfangs (und eigentlich auch jetzt noch) habe ich mich sehr schwer getan.
Tutorials, die ich im Internet gefunden habe, bezogen sich meist auf alte Versionen.

Aber es ist ja wie immer, man muss sich erstmal durchkämpfen.

Gut an Artbreeder finde ich, dass es kostenlos ist. Mit den einzelnen Funktionen komme ich noch nicht so zurecht.

Leonardo fand ich dann etwas einfacher. Vielleicht auch, weil ich vorher schon mit Artbreeder experimentiert hatte.
Die 150 Token, die man bei der kostenlosen Version pro Tag hat, sind dann auch relativ schnell verbraucht.

Nightcafe habe ich dann auch noch ausprobiert. Daran finde ich gut, dass man sich in der kostenlosen Version zusätzliche credits durch verschiedene Aktionen (Bilder liken, eigene Bilder hochladen etc. ) verdienen kann.

Alle Programme scheinen aber vornehmlich auf Portraits oder Landschaftaufnahmen ausgerichtet zu  sein.
Zumindest in den kostenlosen Versionen.

Dass die Pferde oft mehr als 4 Beine haben, habe ich auch festgestellt.  
Ein laufendes Mädchen wurde mir mal mit 3 Armen vorgeschlagen.

@Luriana  das is irgendwie immer unterschiedlich. Zurzeit kannst du mehr als 15 pro Tag generieren. du hast zwar nur 15 Tokens, kannst danach aber weitergenerieren, dauert nur etwas länger. Außerdem muss man dann die Seite neu laden um das neu generiert zu sehen. Manchmal ist aber nach 15 Schluss, ich glaube das kommt drauf an, wie viel Andrang gerade ist.

@Strato Incendus Schwerter oder Speere in Händen sehen mMn sehr gut aus. Pfeil und Bogen tut er sich schwer, und Armrbrüste kannst du fast gar nicht generieren. wie bei allen KIs muss man halt öfter würfeln.

@Sabrina: Freut mich, dass dir meine Ausführungen etwas genutzt haben!

Sabrina schrieb:Alle Programme scheinen aber vornehmlich auf Portraits oder Landschaftaufnahmen ausgerichtet zu  sein.
Zumindest in den kostenlosen Versionen.

Gegenstände sind auch möglich, dafür hat Leonardo separate Modelle. Einfach mal scrollen.
Das Problem bei der kostenlosen Version von Leonardo ist eher, dass deine Anzahl an Alchemy-Generations schneller verbraucht ist als deine Tokens. Das heißt, auch wenn du vielleicht noch 50 Tokens für den Tag übrig hast, wird die Qualität deutlich abfallen, sobald sich die Alchemy-Pipeline abschaltet.

@Gotthelf: Danke für den Hinweis; stimmt, Hieb- und Stichwaffen sahen bei Leonardo meistens auch gut aus (auch Äxte o.ä.). Beim Bogen scheint die KI halt einfach oft nicht zu verstehen, dass Bogen und Sehne zusammengehören. So wie beim Regenschirm der Griff und der Schirm selbst.

Sabrina schrieb:
Alle Programme scheinen aber vornehmlich auf Portraits oder Landschaftaufnahmen ausgerichtet zu  sein.
Zumindest in den kostenlosen Versionen. :

naja, das liegt daran, dass diese Art von Bildern auch den Großteil der Trainingsdaten ausmacht.
manche KI-modelle haben spezialisierte sub-modelle, wo man bestimmte Dinge besser generieren kann (z.B Manga stil, oder eine bestimmte Person, oder Gegenstände),
die sind dann aber meist schlechter in allem anderen.

Mal eine generelle Frage:
Vor allem wenn man Text zu Bild macht bei der Bilderstellung, sind die Gliedmaßen (vor allem Hände) zu min 80% fragwürdig bis physisch unmöglich
Wie verlickert man der KI das zu korrigieren, z.B. wenn man ein Bild erstellt hat wo man sagt "oh ja, das ist genau was ich haben will, nur die Hände...die sollten vielleicht nicht direkt aus der Schulter wachsen"

Oder achtet ihr darauf, das Bild dann so zu rücken, dass die Hände nie sichtbar sind?
Wie würde man das dann anstellen?

Als Beispiel (nicht wundern über den KI Text da drin...den hat er sich ausgedacht xD)


Auf den ersten Blick sieht es ok aus...er umfasst sozusagen seine eigenen Schultern, als würde es ihn z.B. frösteln...nur leider benutzt er dafür die falsche Hand xD

Bei Leonardo kannst du im Canvas Mode die Bilder noch nachträglich editieren.
Bei NightCafé müsste es einen ähnlichen Modus geben, den habe ich dort allerdings noch nicht benutzt.

Du könntest dann z.B. die Hand wegradieren, oder zumindest mit einer Maske versehen, und dann entweder in den Text-Prompt schreiben "redraw hand", "five fingers only" o.ä.
Was genau man da am besten schreibt, da gibt es eigene Prompting-Experten für.


Hier mal einige Vergleiche, nochmal anhand eines der oben gezeigten Charaktere:

Original - hier hat Leonardo aus meinem Prompt leider nicht mehr als ein rotes Kreuz auf der Schulter umgesetzt.
Die Dame ist aber weder Teil des medizinischen Personals, noch kommen ihre Vorfahren aus England.


Also musste ich die Flagge korrigieren.

Erster Versuch mit Flaggen-Patch (vertikal; passte besser zu den Konturen des Originals, aber so herum würde man natürlich auf einer echten Uniform keine Flagge anbringen).
In dem Fall habe ich händisch vier rote Kreuze zum Originalbild dazugemalt, und die AI wandelt das dann so um, dass es sich stimmig ins Bild einfügt (und eben nicht wie händisches Kinder-Gekrakel aussieht).
Hier fügt sich die Flagge somit auf jeden Fall besser ins Gesamtbild ein - sie ist halt nur leider falsch herum gedreht (und die roten Kreuze sind auch nicht ganz symmetrisch, weil ich sie eben von Hand platziert habe, und die AI dann ja nochmal ihre eigenen Abwandlungen macht).

Ensign Nina Meladze auf dem Farm Ring

Zweiter Versuch von heute Abend mit horizontaler Flagge. Dafür musste ich die Kontur drumherum erst entfernen.
Hier habe ich ein Originalbild der echten Flagge hochgeladen, damit sie symmetrisch ist, und diese über den "falschen" Teil drübergelegt.
Übrig blieb nun ein etwas größerer horizontaler Patch, als ich wollte, sodass ich die Flagge etwas zu groß machen musste, um ihn ganz zu verdecken.
Ich habe danach die Flagge mit Maske markiert und gesagt "make smaller", aber das hat leider nichts gebracht.
Im Canvas-Mode hat man zum Glück immer auch die Möglichkeit, zwischen mehreren vorgeschlagenen Änderungen zu wählen - oder sie alle komplett abzulehnen und zur Ursprungsversion zurückzukehren.



Hier wirkt das Ganze aber immer noch mehr wie "mit Photoshop draufgepackt".
Vielleicht muss ich es nochmal mit den anderen Modellen probieren; auch beim "Inpainting", also dem Verändern von Details eines bestehenden Bildes, kann man nämlich zwischen den verschiedenen Modellen wählen. Da das Ursprungsbild mit dem Modell "Albedo Base" erstellt wurde, sollte ich vielleicht das nochmal nehmen.

Zum Vergleich hier mal ein Bild eines anderen Charakters, wo ich die Flagge kleiner machen konnte und sie sich somit auch stimmiger ins Gesamtbild einfügt.
In dem Fall wurde das Ursprungsbild mit dem Modell "Absolute Reality" erstellt.


Ensign Anushka Manukyan

Wie gesagt: Speichern kann man bei Leonardo im Canvas-Mode leider nicht.
Daher ist es wichtig, das Bild sofort herunterzuladen, wenn man es in einem Zustand hat, der einem gefällt.



Was Schriftzüge angeht: Bei Leonardo bekommt das bisher nur das neueste Modell "Leonardo Phoenix" halbwegs vernünftig hin:


Carta of 200 Nations, Verfassung des Generationenraumschiffs Exodus

Auch Phoenix vertut sich noch oft genug, weil es eben die Buchstaben inhaltlich immer noch nicht versteht.
Aber die Erfolgschancen sind zumindest höher als bei all den anderen Modellen, die oft nur reine Hieroglyphen erzeugen.


In der Image Guidance ist Leonardo aber mittlerweile besser geworden.
Hier mal zum Vergleich die jeweilige Abwandlung des Hochzeitspalast in Aschgabat, Turkmenistan:

NightCafé (siehe Startpost):


Leonardo:

@"Strato Incendium": Sorry, hab gar nicht mehr geantwortet, da ich eigentlich vor meiner Antwort ein bisschen mit Leonardo rumspielen wollte

Du könntest dann z.B. die Hand wegradieren, oder zumindest mit einer Maske versehen, und dann entweder in den Text-Prompt schreiben "redraw hand", "five fingers only" o.ä.
Was genau man da am besten schreibt, da gibt es eigene Prompting-Experten für.
...
In dem Fall habe ich händisch vier rote Kreuze zum Originalbild dazugemalt,

Mit wegradieren meinst du dann download, in einem Bildprogramm wegradieren und dann wieder hochladen?
Oder ging das auch bei Leonardo? Wie gesagt... ich wollte es vor meiner Antwort eigentlich testen, bevor ich zu viele dumme Fragen stelle... aber so ewig wollt ich dich nach deiner tollen Rückmeldung auch nicht stehen lassen.

(und die roten Kreuze sind auch nicht ganz symmetrisch, weil ich sie eben von Hand platziert habe, und die AI dann ja nochmal ihre eigenen Abwandlungen macht

Bei einem Kleidungsstück finde ich das aber gar nicht so schlimm, weil die Perspektive durch sichtbaren oder nicht sichtbaren Faltenwurf oä sehr oft verzerrt ist

Habe ja bisher ein paar KIs bezüglich Text zu Bild ausprobiert.
Bisher hat mit Leonardo zumindest die besten Ergebnisse gegeben, auch wenn Arme und Hände stets ein Problem sind

Alastor schrieb:Oder ging das auch bei Leonardo? Wie gesagt... ich wollte es vor meiner Antwort eigentlich testen, bevor ich zu viele dumme Fragen stelle... aber so ewig wollt ich dich nach deiner tollen Rückmeldung auch nicht stehen lassen.

Ja, du kannst auch in Leonardo wegradieren - dann kommt an der Stelle halt einfach schwarzer Hintergrund - und dann eine neue Maske (in lila) drauf malen.

Wenn z.B. die Hand schon verunglückt ist, oder der Kopf falsch herum etc., ist es meist sinnvoller, dieses verunglückte Körperteil ganz wegzuradieren, damit die AI es neu zeichnet, anstatt zu versuchen, diesen existierenden "deformierten" Teil des Bildes zu retten.

Wie kann man bei Leonardo eigentlich verhindern, dass er einem immer Text auf das Bild knallt?
Für den Adventskalender wollte ich mal eben ein Testbild erstellen und einbinden....aber überall schreibt er immer irgendwas drauf.
Wenn ich ihm sage er soll den Text entfernen versteht er das nicht.
Verstehe nicht, wieso er immer Text auf die Bilder klatscht...
Z.B. schreibt er dann drauf "Advents calendar Winter wonder world"...ja danke, seh ich, brauch ich nicht noch auf dem Bild