jomo.org » Jitter-Themen

Videofenster und Fullscreen

Johann Moser — Sat, 28 Apr 2007 19:29:59 +0000

Bei Jitter gibt es zwei Möglichkeiten, ein Video in einem Fenster darzustellen: Das Objekt jit.pwindow (Bereich 1 im Screenshot) integriert das Video an eine bestimmte Stelle in einem Patcher, das Objekt jit.window zeigt das Video in einem eigenen Patcher-ähnlichen Fenster. Dieses Fenster kann beliebig statisch oder dynamisch platziert werden, die Größe und der Fenstertitel können ebenfalls statisch oder dynamisch bestimmt werden (2).

Beispielpatcher für beide Ausgabefenster

Das jit.window kann in einen Fullscreen-Modus versetzt werden (4), im Beispiel mit der ESC-Taste als Schalter zwischen Normalansicht und Fullscreen-Ansicht. Die Message fsmenuebar 0 (3) schaltet das Programm-Menü am oberen Bildschirmrand aus, sodass das Ausgabefenster den gesamten Bildschirm umfasst. Auf diese Weise kann mit einem Beamer der gesamte Bildschirm als Ausgabebereich verwendet werden.

Über ein Video zeichnen

Johann Moser — Sat, 28 Apr 2007 15:54:07 +0000

Jitter bietet auch die Möglichkeit, mit Maus (oder Grafiktablett) über ein Video zu zeichnen. Dabei wird die Mausposition im Videofenster ausgegeben (2) und mit Hilfe des jit.lcd-Objekts nachgezeichnet (3). Die Zeichnung kann über das Video gelegt werden (5). Ein geeigneter Parameter für das jit.op-Objekt ist die Minimum-Verknüpfung min. Der Zeichenprozess kann als Video abgespeichert werden, einzelne Phasen als Videostill.

Beispielpatcher: Zeichnen über ein Video

Parameter für die Steuerung der Zeichnung sind u.a. die Strichstärke (message pensize) und die Strichfarbe.

Im Beispiel wird über das Video gezeichnet und die Zeichnung getrennt ausgegeben. Es kann auch direkt in jenes Videofenster gezeichnet werden, in dem Video und Zeichnung verknüpft sind.

Etwas komplizierter ist das Zeichnen zu programmieren, wenn man berücksichtigen will, dass nur mit der gedrückten Maustaste gezeichnet wird und abgesetzte (ohne Mausklick) Mausbewegungen nicht gezeichnet werden: Dafür muss zuerst die Message idlemouse 1 gesetzt werden (1) und für die Ausgabe im jit.lcd-Objekt muss zwischen der Message lineto (zeichnet) und moveto (set curser an die nächste Position) – zeitverzögert – unterschieden werden. Das ist im Beispiel im Bereich 2 gelöst.

Color Tracking

Johann Moser — Tue, 17 Apr 2007 19:27:19 +0000

Der Patcher zeigt, wie mit Jitter ein bestimmter (sich verändernder) Farbbereich festgestellt wird, der gefundene Bereich wird als sich bewegendes Rechteck gezeichnet.

Color Tracking

Links oben befindet sich die übliche Videosteuerung, darunter das Objekt jit.findbounds, das den angegebenen Farbbereich (ARGB-Minimum, ARGB-Maximum) sucht. Wird kein Farbbereich angegeben, werden die im Objekt voreingestellten Parameter (Rot) verwendet.

Mit Mausklick auf die Eingangsvideo (links) kann man ene andere Farbe asuwählen, die getrackt wird, siehe Bereich 2. Damit der Farbbereich etwas größer wird, kann ein Toleranzbereich jeweils für RGB eingestellt werden. Die Farbwerte werden zu Dezimalzahlen zwischen 0 und 1 skaliert und dann als Message in das jit.findbounds-Objekt geschickt.

Das Ergebnis von jit.findbounds sind vier Integerzahlen, die die Koordinatenwerte jenes Rechtecks angeben, die den gefundenen Farbbereich (muss nicht zusammenhängend sein) umfassen, und zwar in dieser Reihenfolge: x-Koordinate links oben, y-Koordinate links oben, x-Koordinate rechts unten, y-Koordinate rechts unten.

Dieses Rechteck wird nun mit Hilfe der Message framerect im jit.lcd-Objekt gezeichnet.

Voraussetzung für erfolgreiches und sinnvolles Color-Tracking ist das Vorhandensein einer markanten Farbe mit einem sinnvollen Toleranzbereich. Mit Hilfe von Color-Tracking können verschiedene Ereignisse gesteuert werden. Ich verwende Color-Tracking beispielsweise, um logische Bewegungsabläufe zu erhalten. Die erhaltenen vier Koordinatenwerte können aber auch anders skaliert und in völlig anderem Zusammenhang interpretiert werden. Das Eingangsvideo muss dabei gar nicht gezeigt werden.

zip: Der Patcher zum Download

Matrix: Farbpixel lesen und setzen

Johann Moser — Sat, 17 Mar 2007 19:00:02 +0000

Dieses Beispiel zeigt die Möglichkeit der Manipulation von einzelnen Zellen einer visuellen Matrix. Aufgabe dieses Patchers ist es, die RGB-Werte eines bestimmten (beliebigen) Pixels (Zelle) zu ermitteln und dann entweder die Farbwerte oder die Zellposition zu verändern und den Wert zu setzen.

Die für diesen Patcher wesentlichen Bereiche sind mit rotem Hintergrund markiert.

Die Dimension der Matrix kann rechts oben verändert werden, um mit verschiedenen großen Zellen experimentieren zu können.

Zur Weiterentwicklung dieses Patchers stelle ich folgende Überlegungen an:

Die ausgewählte Pixelposition soll automatisch gesteuert werden. In bestimmten Zeitintervallen könnte ein Metro-Impuls gesetzt werden, der dann in einem Zeitraum mit dem Line-Objekt den x- oder y-Wert linear verändert und dadurch eine horizontale oder vertikale Pixel-Linie bewirkt.

Die Steuerung der Ausgabewerte kann entweder die zu setzende Position manipulieren (im Beispiel ist das die Verschiebung der Spalte) und/oder die RGB-Werte.

Input wahlweise: VideoClip oder VideoCam

Johann Moser — Sat, 17 Mar 2007 18:50:28 +0000

Der Patcher zeigt, wie eine wahlweise Auswahl des visuellen Inputs gesteuert bzw. programmiert wird.

Verfeinert kann der Patcher in folgender Hinsicht werden: auch der Metro-Impuls geht nur in den ausgewählten Bereich, die Message open oder read wird automatisch gesetzt bei Auswahl der entsprechenden Quelle.

Ich verwende dieses Modul gerne zum Testen von Programmen mit Input von der Kamera, wenn ich keinen sinnvollen Kamera-Input zu Verfügung habe bzw. wenn ich Visuals wahlweise einsetzen will.

Dynamische Farbkanäle

Johann Moser — Thu, 15 Mar 2007 18:48:09 +0000

Thema: Ein (beliebiger) Videoclip wird in die drei Farbkanäle RGB zerlegt, die getrennt nach Zufallsprinzip in ihrer Intensität verändert werden. Dann werden die Farbkanäle wieder zusammengesetzt und das Ergebnisvideo ausgegeben.

Erste Variante

Die Zufallssteuerung befindet sich im Sub-Patcher liner, der einstweilen nur mit dem R-Kanal verbunden ist. Wenn der Sub-Patcher liner gespeichert als Datei wird, kann er wie ein Objekt dreimal eingefügt werden, das erleichtert die Arbeit und vermeidet Redundanzen in der Programmierung.

Der Sub-Patcher liner als abstraction

Ein eleganteres Interface: In einem Fenster sind die Steuerelemente zum Laden des Videoclips und der anderen Parameter, die Steuerung ist im Patcher control versteckt. Die Schieberegler befinden sich in einem eigenen Fenster.

Das neue Interface

Der Sub-Patcher control

Einführung: Echtzeit-Videobearbeitung

Johann Moser — Fri, 23 Feb 2007 18:42:41 +0000

Anhand einer einfachen Videosteuerung werden wesentliche Elemente der Softwarebedienung in mehreren Schritten erklärt. In 7 aufeinander aufbauenden Videos werden die wichtigsten Grundlagen der Arbeit mit MaxMSP/Jitter demonstriert und kommentiert. Die Videosteuerung wird dabei jeweils um einige Features erweitert und weiterentwickelt. Auf diese Weise erhält man einen guten ersten Einblick in die Arbeit mit Objekten, Parametern und Ausgabefenstern.

Das Modul mit Texterklärungen, den Patchern und den Videoschulungen befindet sich hier und kann online angesehen und steht zum freien Download gratis zur Verfügung. Das Modul ist Bestandteil meiner Online-Video-Schulung in MaxMSP/Jitter im Rahmen des DMA-Projektes^* der Kunst-Universität Linz.

^* DMA steht für Digital Media for Artists.

Random walk durch ein Videoclip

Johann Moser — Tue, 23 Jan 2007 18:44:27 +0000

In dieser Übung meiner DMA^*-Online-Videoschulung werden anhand des Beispiels random walk wichtige Prinzipien der Arbeit mit MaxMSP/Jitter erklärt:

Bearbeitungs- und Präsentationsmodus
Objekte, Messages und Parameter
Screendesign und Regeln für Ablaufhierarchien
Softwareansatz von Echtzeitsteuerung, Dynamik und Interaktivität

Die Übung besteht aus 10 Videos zwischen 1 Min und 7 Minuten Dauer und ist hier anzusehen.

* DMA: Digital Media for Artists, Kunst-Universität Linz