Im Laufe meiner Arbeit in den letzten Wochen habe ich ein paar Erfahrungen gemacht:

VVVV ist in erster Linie mal gut für Sachen im 3D-Bereich. Es gibt da eine Menge Möglichkeiten und auch schon fertige, von anderen Usern zur Verfügung gestellte Patches und Shader. Tatsächlich sind auch Shader eine CPU-sparende Möglichkeit zur Bildbearbeitung in Echtzeit, aber man stösst auch schnell an ihre Grenzen. Beispielsweise haben Shader keinen internen Buffer, in dem Sie Informationen speichern könne, um sie dann zu anderer Zeit weiter zu verwenden. Das Ergebnis einer Berechnung wird in VVVV gerendert und kann dann weiter verarbeitet werden. Um mehrere Durchgänge mit meinem Median zu erzielen, muss ich diesen Schritt mehrmals wiederholen, wobei man beachten muss, dass durch einen Bug im Renderer das Bild immer um einen Pixel nach rechts-unten verschoben wird (hat Nerven gekostet, aber das Forum war eine große Hilfe).

Ich habe ein wenig mit Background-Substraction experimentiert, aber anscheinend werde ich da auf FreeFrame zurückgreifen müssen, um zu ordentlichen Ergebnissen zu kommen, die auch Outdoor funktionieren. Das bedeutet dann endgültig C++-Programmierung, aber man gönnt sich ja sonst nix ;-)

Einige VVVVler benutzen wohl auch eine Kombination aus EyesWeb und VVVV, da EyesWeb einige fertige Module biete, die für VideoTracking sehr nützlich sind. Die von EyesWeb gewonnenen Daten können dann über OSC an VVVV weitergereicht werden. Teilweise gibt es schon fertige Module in VVVV um diese Daten zu verarbeiten.

VVVV arbeitet mit DirectX und ist demensprechend auf Windows beschränkt. Die meisten Objekte beschäftigen sich mit der Verarbeitung von Listen und machen so zum Beispiel den Umgang mit Partikeln u.ä. einfach. Die meisten Leute arbeiten damit wohl im VJ-Bereich, was mich nicht wirklich interessiert. Da kann an allerdings schnell schöne Ergebnisse erzielen. Die Videoverarbeitung kann über Pixelshader, aber auch über Libraries wie FreeFrame erfolgen. Durch die Anwendung von Pixelshadern kann man eine Menge CPU-Last auf die Grafikkarte auslagern.

Eine schöne Sache an VVVV ist auf jeden Fall seine gut funktionierende Community. Sowohl im Chat als auch im Forum habe ich schnell Hilfe bekommen. Da das Programm sich noch im beta-Stadium befindet ist das umso nützlicher. Im Gegensatz dazu herrscht bei EyesWeb eher eisige Stille… Im Gegensatz zu Max/Msp ist der nichtkommerzielle Einsatz kostenlos (schön auch die Kriterien der Entwickler für den nichtkommerziellen Einsatz: You like the music)

There is a human urge for freedom and security. It is a fundamental contradiction that keeps us occupied permanently. In mundane situation, political decisions or relationships – we’re constantly forced to make a compromise and sacrifice one for the other. I associate this contradictional urge with the characteristic of water to embrace the human body while not holding on to it.

The contradiction that exists  on land doen’t exist under water. I can move freely in all three dimensions without the fear of falling.

The first of two rooms in Dive! II is supposed to make people aware of this characteristic of water.  With a projection of a water surface viewed from below, it simulates a surrounding under water. The absence of weightlesness as the main difference between simulation and reality is supposed to emphasize this characteristic.

In the second room a big water basin is used to demonstrate that our body is alienated from the element. What we were missing in the first room is a utopia we will never experience in its pure form.

With these two rooms Dive! II creates two worlds, one above and one below the water surface, that can communicate through the element. Thus it is possible for the visitor to get involved with the installation in a playful way.

> Diplom Thesis (.pdf – 4,7 mb german) (Layout: Ricarda Porzelt)

> Sketchbook (.pdf – 38 mb)

EyesWeb-patch for an interactive installation. A live recorded video loop can be manipulated in length and speed by body movements.

Timebouncing is the result of the class “eyes open” by Lars Wieneke. The class was an introduction into the free software EyesWeb and explored the possibilities in processing optical signals. I designed this installation and wrote the required patch.

The installation works on two levels. A person can record a video, using body movements to control the recording. In a second step, it can manipulate speed, length and position of the recorded loop with body movement and position.

A complete description of the installation and a documantation of the patch can be found here (.pdf german).

Ich sponn diesen Gedanken weiter und überlegte mir Möglichkeiten, wie man noch gleiche Voraussetzungen in Bezug auf das Spielen eines Instruments schaffen kann. Mir fiel das Theremin ein, das erste elektronische Instrument, das bis heute durch seine ungewöhnlich Spielweise von wenigen Musikern gemeistert wurde. Es wurde 1919 von dem russischen Physiker Lev Termen (später Leon Theremin) entwickelt. Die herausragendste Eigenschaft dieses Instruments ist wohl, dass man es beim Spielen nicht berührt. Es besteht aus zwei Antennen, die die Entfernung der Hand ertasten und damit den Klang in Höhe und Lautstärke verändern.
Gespannte Klaviersaiten schaffen eigene Räume

Hier mein Vorschlag für ein Objekt, dass sowohl den strukturellen Anforderungen, als auch dem inhaltlichen Ansatz gerecht werden soll:

Im Lisztraum sollen beliebig viele Klaviersaiten gespannt werden. Senkrecht, waagrecht oder schräg im Raum, können sie zur Aufteilung dienen, in Richtungen verweisen und Nischen oder Freiflächen deklarieren. Die Klaviersaiten können mit Sensoren ausgestattet werden, die, wie das oben erwähnte Theremin, durch Annäherung funktionieren, oder aber auch mit Tonabnehmern ausgestattet werden, so dass sie wie die Saiten einer Harfe gespielt werden können. Im Fall einer Berührung soll jedoch nicht nur die Anschlagsstärke als Information zur Verfügung stehen, sondern auch die Stelle, an der die Saite berührt wurde. Diese drei Parameter, Anschlagsort, Anschlagsstärke und die Entfernung vor und nach der Berührung, sollen dann nutzbar sein, um eine Vielzahl von Applikationen steuern zu können.
Theremin Eigenbau

Ich würde diese Parameter gerne zur Klangerzeugung verwenden. Mein Motiv ist dabei an den oben erwähnten Aspekt von Liszts Leben angelehnt. Es soll ein Instrument geschaffen werden, das in seiner Spielweise so unkonventionell ist, dass es jeder mit den selben Vorkenntnissen für sich entdecken. Natürlich ist eine entsprechende Ausbildung bei jeder Art von musikalischer Betätigung von Vorteil, der Bewegungsablauf soll jedoch mit keinem klassischen Instrument direkt identisch sein. Ich möchte auch nicht ein einzelnes Instrument mit vielen Saiten in den Raum stellen, sondern vielmehr viele einzelne in größerem Abstand, um das ganze als ein kollektives Ereignis zu gestalten, bei dem der eigentliche Reiz erst durch das Zusammenspiel vieler Teilnehmer zustande kommt.