jomo.org » Realtime Processing

Die Ästhetik algorithmischer Modelle

Johann Moser — Sun, 08 Jul 2007 18:36:26 +0000

Zur Einordnung meiner künstlerischen und experimentellen Arbeit mit MaxMSP/Jitter habe ich interessante Analysen des Einflusses der Computation auf die Kunst gefunden.

Medienkomposition als Modellbildung
Während in der klassischen Fotografie das Motiv, eine Serie von Bildern oder das Erzeugen abstrakter Bilder im Zentrum der Arbeit steht, verwende ich in meiner Medienkomposition Fotografie und Video (auch Klang) als Material, wobei für die richtige Eignung des Materials eher Kontrast, Tempo, grafische Struktur eine Rolle spielen als das eigentliche fotografische Motiv. Auch mein Videomaterial erzählt keine Geschichten, sondern bringt vorwiegend Bewegung und Veränderung von Kontrasten ins Spiel.

Foto- bzw. Videomaterial wird verschiedenen computergesteuerten Prozessen unterworfen. Die mit Hilfe einer grafischen Oberfläche geschaffenen Programme können als Modelle mit Einflussfaktoren im Sinne der systemdynamischen Modellbildung interpretiert werden. Meine Modelle entwickle ich ausgehend von einfachen Modellen durch Differenzierung von Parametern und Setzen von komplexen Zusammenhängen: Rückkoppelungen zwischen Parametern, Zufallsprozesse und automatische Steuerungen veranlassen meine Modelle zur Gestalt-Bildung – durch die (Echtzeit-)Verarbeitung digitaler Daten (Foto, Video, Grafik, Text, Sprache und/oder Klang) erzeugen diese theoretischen Modelle neue Informationen, die eigenständige ästhetische Qualität haben. Die Modelle visualisieren bzw. verklanglichen – also versinnlichen – die Strukturen des verwendeten Materials und der programmierten Algorithmen.

Die Modelle kann ich als Computerprogramme interessierten Rezipienten zur eigenen Arbeit mit eigenen Materialien zur Verfügung stellen um so an meinem kreativen Prozess teilzuhaben bzw. diesen Prozess weiterzuführen. Ziel ist nicht ein statisches künstlerisches Produkt, sondern der Gestaltungsprozess durch Beeinflussung von Parametern auf abstrakter Ebene. Ziel ist die Versinnlichung von Algorithmen bzw. die ästhetische Interpretation von Algorithmen.

Die Möglichkeit zum Abspeichern von punktuellen visuellen Ereignissen (Bild), von Videoclips oder Klangaufnahmen schafft die Verbindung zur gewohnten Bildkunst. Durch Automatisierung des Speicherns von zeitlich begrenzten Abschnitten läßt sich individualisierte Massenproduktion von (statischen) Kunstwerken als Ausschnitt offener und dynamischer Prozesse erzeugen.

Aspekte der Medientheorie von Vilém Flusser, die meine Arbeit berühren
Vilém Flusser schreibt in mehreren medienphilosophischen Aufsätzen über die Auswirkungen der Computation auf Denken, Medien und Kunst.

In Hinweg vom Papier (1987) definiert er Kreativität als Erzeugen vorher nicht dagewesener Information durch Umstrukturierung vorhandener Information.

Es wird zumindest denkbar, dass wir in Zukunft nicht mehr empirisch, sondern auf Grund einer Theorie werden schaffen können. Dass nicht mehr handwerklich, sondern technisch kreiert wird. In diesem Fall wäre mit einer Explosion der menschlichen Kreativität zu rechnen. (Vilém Flusser, Hinweg vom Papier, in: Medienkultur, S. Fischer Vlg, S 62)

In Alphanumerische Gesellschaft (1989) setzt Vilém Flusser in Abgrenzung zum magisch-mythischen und dem historischen Bewußtsein das kalkulatorisch statistische Denken/Bewußtsein. Anstelle des Rechnens tritt das Programmieren, das Manipulieren von Strukturen, das Analysieren und Synthetisieren, das Entwickeln von Modellen:

Der Computer rechnet nicht nur, er synthetisiert die Bits auch zu Gestalten, zum Beispiel zu Linien, zu Flächen, aber auch zu Tönen. Diese Gestalten können miteinander kombiniert werden, … ganze alternative Welten sind aus Zahlen komputierbar geworden. Diese erlebbaren (ästhetischen) Welten verdanken ihre Erzeugung dem formalen, mathematischen Denken. Das hat zur Folge, dass nicht nur wissenschaftliche Theoretiker und deren Theorien anwendende Techniker, sondern alle Intellektuellen überhaupt (und vor allem Künstler) die Codes der neuen Bewußtseinsebene zu erlernen haben, wenn sie am künftigen Kulturbetrieb teilnehmen wollen. Wer die neuen Codes nicht lesen kann, ist Analphabet in einem mindestens so radikalen Sinn, wie es die der Schrift Unkundigen in der Vergangenheit waren. (Vilém Flusser, Alphanumerische Gesellschaft, in: Medienkultur, S. Fischer Vlg, S 52)

Videofenster und Fullscreen

Johann Moser — Sat, 28 Apr 2007 19:29:59 +0000

Bei Jitter gibt es zwei Möglichkeiten, ein Video in einem Fenster darzustellen: Das Objekt jit.pwindow (Bereich 1 im Screenshot) integriert das Video an eine bestimmte Stelle in einem Patcher, das Objekt jit.window zeigt das Video in einem eigenen Patcher-ähnlichen Fenster. Dieses Fenster kann beliebig statisch oder dynamisch platziert werden, die Größe und der Fenstertitel können ebenfalls statisch oder dynamisch bestimmt werden (2).

Beispielpatcher für beide Ausgabefenster

Das jit.window kann in einen Fullscreen-Modus versetzt werden (4), im Beispiel mit der ESC-Taste als Schalter zwischen Normalansicht und Fullscreen-Ansicht. Die Message fsmenuebar 0 (3) schaltet das Programm-Menü am oberen Bildschirmrand aus, sodass das Ausgabefenster den gesamten Bildschirm umfasst. Auf diese Weise kann mit einem Beamer der gesamte Bildschirm als Ausgabebereich verwendet werden.

Über ein Video zeichnen

Johann Moser — Sat, 28 Apr 2007 15:54:07 +0000

Jitter bietet auch die Möglichkeit, mit Maus (oder Grafiktablett) über ein Video zu zeichnen. Dabei wird die Mausposition im Videofenster ausgegeben (2) und mit Hilfe des jit.lcd-Objekts nachgezeichnet (3). Die Zeichnung kann über das Video gelegt werden (5). Ein geeigneter Parameter für das jit.op-Objekt ist die Minimum-Verknüpfung min. Der Zeichenprozess kann als Video abgespeichert werden, einzelne Phasen als Videostill.

Beispielpatcher: Zeichnen über ein Video

Parameter für die Steuerung der Zeichnung sind u.a. die Strichstärke (message pensize) und die Strichfarbe.

Im Beispiel wird über das Video gezeichnet und die Zeichnung getrennt ausgegeben. Es kann auch direkt in jenes Videofenster gezeichnet werden, in dem Video und Zeichnung verknüpft sind.

Etwas komplizierter ist das Zeichnen zu programmieren, wenn man berücksichtigen will, dass nur mit der gedrückten Maustaste gezeichnet wird und abgesetzte (ohne Mausklick) Mausbewegungen nicht gezeichnet werden: Dafür muss zuerst die Message idlemouse 1 gesetzt werden (1) und für die Ausgabe im jit.lcd-Objekt muss zwischen der Message lineto (zeichnet) und moveto (set curser an die nächste Position) – zeitverzögert – unterschieden werden. Das ist im Beispiel im Bereich 2 gelöst.

Color Tracking

Johann Moser — Tue, 17 Apr 2007 19:27:19 +0000

Der Patcher zeigt, wie mit Jitter ein bestimmter (sich verändernder) Farbbereich festgestellt wird, der gefundene Bereich wird als sich bewegendes Rechteck gezeichnet.

Color Tracking

Links oben befindet sich die übliche Videosteuerung, darunter das Objekt jit.findbounds, das den angegebenen Farbbereich (ARGB-Minimum, ARGB-Maximum) sucht. Wird kein Farbbereich angegeben, werden die im Objekt voreingestellten Parameter (Rot) verwendet.

Mit Mausklick auf die Eingangsvideo (links) kann man ene andere Farbe asuwählen, die getrackt wird, siehe Bereich 2. Damit der Farbbereich etwas größer wird, kann ein Toleranzbereich jeweils für RGB eingestellt werden. Die Farbwerte werden zu Dezimalzahlen zwischen 0 und 1 skaliert und dann als Message in das jit.findbounds-Objekt geschickt.

Das Ergebnis von jit.findbounds sind vier Integerzahlen, die die Koordinatenwerte jenes Rechtecks angeben, die den gefundenen Farbbereich (muss nicht zusammenhängend sein) umfassen, und zwar in dieser Reihenfolge: x-Koordinate links oben, y-Koordinate links oben, x-Koordinate rechts unten, y-Koordinate rechts unten.

Dieses Rechteck wird nun mit Hilfe der Message framerect im jit.lcd-Objekt gezeichnet.

Voraussetzung für erfolgreiches und sinnvolles Color-Tracking ist das Vorhandensein einer markanten Farbe mit einem sinnvollen Toleranzbereich. Mit Hilfe von Color-Tracking können verschiedene Ereignisse gesteuert werden. Ich verwende Color-Tracking beispielsweise, um logische Bewegungsabläufe zu erhalten. Die erhaltenen vier Koordinatenwerte können aber auch anders skaliert und in völlig anderem Zusammenhang interpretiert werden. Das Eingangsvideo muss dabei gar nicht gezeigt werden.

zip: Der Patcher zum Download

Matrix: Farbpixel lesen und setzen

Johann Moser — Sat, 17 Mar 2007 19:00:02 +0000

Dieses Beispiel zeigt die Möglichkeit der Manipulation von einzelnen Zellen einer visuellen Matrix. Aufgabe dieses Patchers ist es, die RGB-Werte eines bestimmten (beliebigen) Pixels (Zelle) zu ermitteln und dann entweder die Farbwerte oder die Zellposition zu verändern und den Wert zu setzen.

Die für diesen Patcher wesentlichen Bereiche sind mit rotem Hintergrund markiert.

Die Dimension der Matrix kann rechts oben verändert werden, um mit verschiedenen großen Zellen experimentieren zu können.

Zur Weiterentwicklung dieses Patchers stelle ich folgende Überlegungen an:

Die ausgewählte Pixelposition soll automatisch gesteuert werden. In bestimmten Zeitintervallen könnte ein Metro-Impuls gesetzt werden, der dann in einem Zeitraum mit dem Line-Objekt den x- oder y-Wert linear verändert und dadurch eine horizontale oder vertikale Pixel-Linie bewirkt.

Die Steuerung der Ausgabewerte kann entweder die zu setzende Position manipulieren (im Beispiel ist das die Verschiebung der Spalte) und/oder die RGB-Werte.

Input wahlweise: VideoClip oder VideoCam

Johann Moser — Sat, 17 Mar 2007 18:50:28 +0000

Der Patcher zeigt, wie eine wahlweise Auswahl des visuellen Inputs gesteuert bzw. programmiert wird.

Verfeinert kann der Patcher in folgender Hinsicht werden: auch der Metro-Impuls geht nur in den ausgewählten Bereich, die Message open oder read wird automatisch gesetzt bei Auswahl der entsprechenden Quelle.

Ich verwende dieses Modul gerne zum Testen von Programmen mit Input von der Kamera, wenn ich keinen sinnvollen Kamera-Input zu Verfügung habe bzw. wenn ich Visuals wahlweise einsetzen will.

Dynamische Farbkanäle

Johann Moser — Thu, 15 Mar 2007 18:48:09 +0000

Thema: Ein (beliebiger) Videoclip wird in die drei Farbkanäle RGB zerlegt, die getrennt nach Zufallsprinzip in ihrer Intensität verändert werden. Dann werden die Farbkanäle wieder zusammengesetzt und das Ergebnisvideo ausgegeben.

Erste Variante

Die Zufallssteuerung befindet sich im Sub-Patcher liner, der einstweilen nur mit dem R-Kanal verbunden ist. Wenn der Sub-Patcher liner gespeichert als Datei wird, kann er wie ein Objekt dreimal eingefügt werden, das erleichtert die Arbeit und vermeidet Redundanzen in der Programmierung.

Der Sub-Patcher liner als abstraction

Ein eleganteres Interface: In einem Fenster sind die Steuerelemente zum Laden des Videoclips und der anderen Parameter, die Steuerung ist im Patcher control versteckt. Die Schieberegler befinden sich in einem eigenen Fenster.

Das neue Interface

Der Sub-Patcher control

Video zoomen bzw. Ausschnitt im Videofenster

Johann Moser — Sat, 10 Mar 2007 18:46:06 +0000

Zwei verwandte Themen habe ich als thematischen Input in der LVA vom 9.3.2007 behandelt: Das Zoomen eines Video-Clips und das Wählen eines Teilbereiches des Videofensters in Jitter für die Videoanzeige.

Screenshot

Wenn ich zoomen möchte, wähle ich einen Ausschnitt aus dem Ursprungsvideo (srcrect steht für source rectangle), die Koordinaten sind in der Reihenfolge x1,y1,x2,y2 zu setzen, usesrcrect muss aktiviert (on) sein.

Wenn ich ein Videoclip in einem Teilbereich des Ausgabefensters anzeigen möchte, setze ich Koordinaten für dstrect (destination rectangle), usedstrect muss aktiviert sein.

Das Beispiel zeigt noch, wie ich jeweils x- und y-Koordinate eines Punktes gemeinsam verändere, um das Seitenverhältnis 4:3 beizubehalten.

Die Parameter für die Wahl des Ausschnittes kann dann wie üblich dynamisch gesteuert werden.

Einführung: Echtzeit-Videobearbeitung

Johann Moser — Fri, 23 Feb 2007 18:42:41 +0000

Anhand einer einfachen Videosteuerung werden wesentliche Elemente der Softwarebedienung in mehreren Schritten erklärt. In 7 aufeinander aufbauenden Videos werden die wichtigsten Grundlagen der Arbeit mit MaxMSP/Jitter demonstriert und kommentiert. Die Videosteuerung wird dabei jeweils um einige Features erweitert und weiterentwickelt. Auf diese Weise erhält man einen guten ersten Einblick in die Arbeit mit Objekten, Parametern und Ausgabefenstern.

Das Modul mit Texterklärungen, den Patchern und den Videoschulungen befindet sich hier und kann online angesehen und steht zum freien Download gratis zur Verfügung. Das Modul ist Bestandteil meiner Online-Video-Schulung in MaxMSP/Jitter im Rahmen des DMA-Projektes^* der Kunst-Universität Linz.

^* DMA steht für Digital Media for Artists.

Random walk durch ein Videoclip

Johann Moser — Tue, 23 Jan 2007 18:44:27 +0000

In dieser Übung meiner DMA^*-Online-Videoschulung werden anhand des Beispiels random walk wichtige Prinzipien der Arbeit mit MaxMSP/Jitter erklärt:

Bearbeitungs- und Präsentationsmodus
Objekte, Messages und Parameter
Screendesign und Regeln für Ablaufhierarchien
Softwareansatz von Echtzeitsteuerung, Dynamik und Interaktivität

Die Übung besteht aus 10 Videos zwischen 1 Min und 7 Minuten Dauer und ist hier anzusehen.

* DMA: Digital Media for Artists, Kunst-Universität Linz