LLM-Zeichenroboter

In einem dreiwöchigen Modul haben wir eine Maschine gebaut, die Sprache in Zeichnungen umsetzt. Du sagst, was du möchtest, und sie zeichnet dir eine individuelle Stiftillustration zum Mitnehmen. Sie läuft mit GPT-3.5, Stable Diffusion und einem selbst gebauten Plotter. Es ging darum, neue Formen der Interaktion mit natürlicher Sprache und KI-Modellen zu erkunden.

Team: David Polke, Elia Salerno, Andreas Kohler, Stepan Vedunov
Zeitraum: 2023, dreiwöchiges Hochschulmodul
Rolle: Mensch-Roboter-Interaktion, Voice UI, ZHdK

Meine Rolle

User Research zur Mensch-Roboter-Interaktion.
Ideation-Runden moderiert.
Das Frontend für die Spracheingabe gestaltet und gebaut.
Industriedesign des Roboters.

In Aktion

Interaktion mit dem Roboter. Plays from YouTube.

Prozess

Brainstorming möglicher Eingabemechanismen — Brainstorming zu Eingabemechanismen.

Technische Pipeline von der gesprochenen Eingabe bis zur fertigen Zeichnung — Die technische Pipeline, von der menschlichen Eingabe bis zur Zeichnung.

Skizzen möglicher Industriedesigns — Skizzen verschiedener Versionen des Industriedesigns.

CAD-Baugruppe des Zeichenroboters — Die CAD-Baugruppe.

Mit ihm sprechen

Das Voice Interface lehnt sich an Sprachnachrichten in Chat-Apps an, damit sich das Sprechen mit dem Roboter natürlich anfühlt. Das war zentral für die Idee: im Gespräch das Gefühl eines KI-Bewusstseins nachzubilden.

Animation des Interfaces für die Spracheingabe — Die Interaktion bei der Spracheingabe.

Resultat

Finales 3D-Rendering des Roboters — Finales Rendering des Roboters.

Der Roboter an der Projektausstellung — An der Ausstellung.

Der Roboter zeichnet auf Papier — Beim Zeichnen.

Ergebnis

Der Prototyp ist ein spekulativer Proof of Concept für Pseudo-Bewusstsein in der KI. Wir wollten das Feld kennenlernen und mitprägen, wie Menschen mit robotischen Systemen interagieren.