A cidade como espaço de conhecimento

Como podemos medir a energia mental de um lugar? Como ele vai se tornar visível através da interatividade de seus habitantes? Qual é o caráter do material do jogo interativo? São dados compilados pelo artista, ou são dados processualmente adquiridos, por exemplo, via internet, como neste projeto? De que forma os dados são processados ​artisticamente? Eles são processados ​​manualmente ou seguindo regras generativas? Estas são as perguntas no início do projeto. É uma tarefa de arte generativa para encontrar regras interativas simples e abertas para um jogo autônomo. Algoritmos são desenvolvidos principalmente por expressões linguísticas e em uma segunda etapa transformados em código legível por máquina. Na instalação de mídia-arte "Energie-Passagen" (Fleischmann, Strauss 2004 a) várias vertentes convergem: o conceito de participação dos moradores, o desenvolvimento de um código generativo, o desenvolvimento de uma etapa interativa, que mostra e documenta o jogo com o seu material digital.

A cidade em si é uma construção anônima, uma entidade que se apresenta face-à-face aos habitantes. A cidade está em oposição aos outros. Inúmeras pessoas e fluxo de informação dentro e fora da cidade através da rede de canais de transporte. Somente se os moradores vincularem a vida urbana a momentos específicos - individuais e coletivos, eles o farão para lembrar de lugares específicos da cidade. Através da instalação arte mídia "Energie-Passagen" [Passagens de Energia], o espaço urbano é utilizado como um palco para narrativas individuais e coletivas. A instalação reúne os moradores da cidade – o indivíduo e o outro - com todas as suas diferenças, e analisa como os métodos participativos afetam os processos relativos à formação de opiniões públicas. A encenação interativa no espaço público cria uma situação em que vários pontos de vista e energias múltiplas são capazes de se manifestar. A combinação dos espaços físico e virtual cria uma esfera urbana, que evoca a comunicação. O que é reminiscente enquanto se observa os outros, é a si mesmo, mas ao mesmo tempo o diferente dentro do outro. A percepção do que faz jus ao outro nunca é verdadeiramente possível. No entanto, a arte é capaz de contribuir para ver e perceber os outros, ou seja, para perceber que eu provavelmente não conheço o outro, mas que eu posso aprender com ela ou ele. Com este tipo de compreensão o espaço de linguagem destinado se transforma em um playground para troca irrestrita. A maneira como as pessoas pensam dentro de uma cidade, a língua de seus meios de comunicação, seus poetas e a linguagem da política são todos fluxos de energia que caracterizam uma cidade. A linguagem é a energia mental, de acordo com Heidegger, ela é a "casa do ser". Pensamento, palavras escritas e faladas formar um tecido que flui, ou seja, um espaço de linguagem que envolve a cidade construída como uma arquitetura invisível. É esta energia que nós desvendamos e visualizamos na esfera pública da cidade através de um fluxo de notícias.

Espaço urbano como lugar de intervenção visível publicamente

Com a instalação interativa vamos implementar as notícias diárias como um fluxo audiovisual de informação, na praça em frente à Casa da Literatura em Munique (Strauss, Fleischmann 2005, 118-131). Em novembro de 2004 visitantes encontram-se inesperadamente dentro do acontecimento interativo de um jogo de linguagem (Sprachspiel) na praça "Salvatorplatz" em Munique. Um fluxo de palavras eletrônicas atravessa todo o piso em frente à iluminada Casa de Literatura, bem como através dos degraus da escada de pedra, bancos e mesas. O local é coberto por uma luz virtual – e espaço acústico. A instalação transforma o jornal em um razoável passeio no fluxo de dados de notícias diárias. Trechos retirados das últimas notícias são ilustradas como um telégrafo, como um fluxo de palavras. Vozes artificiais leem palavras isoladas. Uma tela sensível ao toque e um microfone permitem aos visitantes modificar o fluxo de texto e selecionar os termos individuais. Um sistema semântico imediatamente adiciona várias palavras semelhantes "amigáveis" para essa seleção. O fluxo linguístico torna-se visível a todos através do streaming de palavras. Alguns visitantes tentam identificar o significado e a correlação por trás das palavras; outros jogam palavras uns para os outros, como em diálogos cênicos. Todos os participantes tornam-se atores e todas as entradas de dados tornam-se produtoras de dados. Interativamente a notícia fica reorganizada e visualizada na tela de projeção como um “Jornal Vivo”.

A curadora Christiane Paul descreve a sobreposição do espaço físico da cidade com o espaço de dados linguísticos como uma fusão de duas esferas públicas: "Literalmente, inscrever as notícias diárias como um espaço linguístico e semântico nas ruas da cidade cria uma fusão de arenas públicas que geralmente permanecem bastante separadas no sentido físico: o espaço de informação público de eventos diários e o espaço local, público da cidade atravessado por um fluxo constante de pessoas. Enquanto os habitantes de uma cidade habitam naturalmente em ambos os espaços - o domínio público da informação e da cidade - eles geralmente não têm a possibilidade de experimentar essas localidades como redes conectadas ou reconfigurá-las colaborativamente "(Paul, 2004). Na sobreposição de ambos os espaços de instalação abre-se - sensualmente, bem como cognitivamente - uma nova experiência de sentir coletivamente um espaço mental discursivo.

FIG. 1: "Energie-Passagen" [Passagens de energia] em frente à Casa da Literatura em Munique © Monika Fleischmann e Wolfgang Strauss, 2004

Conceito artístico, influenciadores e técnicas

O título do projeto "Energie-Passagen" [Passagens de energia] é derivado da compreensão da linguagem como energia mental. É dirigido ao termo passagem de Flusser e refere-se a "Passagen-Werk" [O Projeto Arcades] de Walter Benajmin. Vilém Flusser define o termo passagem como uma jornada na qual os elementos individuais tem “passado através”, como fragmentos de um contexto mais amplo de fundir as impressões individuais como partes de um todo em uma imagem tangível (Findeisen 2004). O termo passagem de Flusser é para ser entendido no contexto de nomadismo, o estilo de vida móvel contemporâneo da "sociedade telemática”. Em contraste com o pensamento "sedentário" em termos de categorias fixas isso corresponde a pensar em termos de relacionamentos. O método de montagem do texto de Walter Benjamin, em seu "Passagen-Werk" [O Projeto Arcades] inspirou o projeto, também. Adorno observa que Benjamin tenta "fazer sem qualquer tipo de interpretações evidentes e para obter os significados revelados exclusivamente através de um caminho de choque provocando material de montagem" (Adorno, 1970, p. 26). Da mesma forma, no entanto, de uma forma contemporânea, os artigos de jornal são fragmentados pelo código e são representados através da intervenção dos visitantes que participam como uma nova montagem. Os participantes são confrontados com novas constelações contínuas de termos e estabelecem novas associações por este meio.

O ponto de partida para a medição estatística em relação às inter-/ações é a frequência de particulares, palavras escolhidas. Ao usar a alimentação RSS do Süddeutsche Zeitung [jornal do sul da Alemanha] a informação diária é processada através de uma ferramenta linguística e entrou automaticamente no dia-a-dia do sistema. Gerado a partir de 30.000 palavras da edição diária, o jornal é reduzido para as 500 palavrinhas mais mencionadas. A nova edição é calculada como uma rede conceitual semântica, projetada como um fluxo de palavras no chão e retratada como um panorama audiovisual no âmbito da cidade. O espaço arquitetônico é enriquecido e sobreposto em camadas de artefatos artificiais movendo-se suavemente no espaço. Uma imagem desconhecida da cidade é revelada.

FIG. 2: O Süddeutsche Zeitung [jornal do sul da Alemanha] como uma rede semântica de informações e protótipo de interface do fluxo de notícias, a partir de 24 de junho de 2004 © Monika Fleischmann e Wolfgang Strauss, 2004.

Fluxo de Notícias passando através de nós mesmos

A sonorização dos dados por meio de vozes artificiais amplia a experiência visual da instalação no nível auditivo. Um método texto-ao-discurso converte as palavras para um panorama de som e complementa o movimento da imagem. O som espacialmente encenado, o movimento fluido e os gestos de seleção criam uma atmosfera de mudança incessante. Os visitantes participantes orientam-se de acordo com o eco desses elementos mediais e isso resulta em uma forma de eco localização. Enquanto uma palavra ainda está sendo pronunciada, ela já é ouvida e, enquanto ela está sendo ouvida, imagens internas se desenvolvem. A audiência e a imaginação se reforçam mutuamente. O cientista do som Holger Schulze descreve a simultaneidade de imagem, som e movimento como "A Orquestração de Mídia perceptual e sensual e Fluxo de Notícias " (Schulze 2005, p. 8), a qual tem um impacto sobre o corpo humano. Ele afirma: "nós poderíamos ter a impressão de que todos os fluxos de notícias atuais estavam passando através de nós mesmos" (Schulze 2005, p 7.).

Os visitantes participam de uma leitura performativa cujas palavras literalmente fluem através do corpo e fazem o público perceber o lugar sensibilizado. Isso está sendo conseguido através da implementação contínua da imagem virtual e espaço sonoro no meio ambiente real da cidade. A expressão Realidade Mista designa o formato técnico (Milgram, Kishino 1994, pp 1321-1329). No entanto, também entendemos Realidade Mista como o formato de um emaranhado de percepção sem costura, senso motoro e cognitivo (Strauss, Fleischmann 1999, pp 93-98). A compatibilidade incrível surge porque a percepção analógica e da ficção digital - ou seja, a sobreposição das realidades física e virtual - gera um pensamento e um espaço de conhecimento que, aparentemente, pode se sentir fisicamente. Isto foi confirmado pelos visitantes em inúmeras entrevistas.

Fig. 3: O modelo de interface do fluxo de informação no format Web. http://energie-passagen.de/webinstallation.html © Monika Fleischmann & Wolfgang Strauss, 2004.

O fluxo de informação como um objeto de reflexão

A metáfora do fluxo de informação serve para transmitir uma imagem do fenômeno da sobrecarga de informação. As notícias diárias literalmente fluem como um fluxo de pensamentos atravessando a praça e se transformam em entidades transitáveis ​​e, aparentemente táteis na esfera urbana. Transeuntes interveem na atuação, escolhendo palavras de acordo com seu próprio interesse. As respostas do sistema, oferecem cinco palavras-chave adicionais, semanticamente relacionadas com a origem da palavra de pesquisa. O anel de palavras é cromaticamente destacado em verde, que flutua por algum tempo claramente visível no fluxo da palavra colorida de branco projetada. Assim, ao ator interveniente é oferecida a oportunidade de explorar ainda mais as palavras que aparecem e vinculá-las aos próprios pensamentos, associações ou sentimentos. O sociólogo Sherry Turkle define o "Energie-Passagen" [Passagens de Energia] como um dispositivo evocativo gerando um maior nível de atenção por meio da encenação implementada. Assim, ele torna-se um objeto de reflexão. Turkle caracteriza a experiência receptiva dos visitantes pela participação ativa no processo de desconstrução e reconstrução. Turkle vê isso como uma oportunidade que permite aos visitantes ter uma ideia sobre a nossa cultura de simulação: "A noção de uma experiência espacial do discurso das notícias dentro de um espaço da cidade e a possibilidade de desconstrução do jornal capta a fragmentação da mídia como é vivida pelo cidadão em uma cultura da simulação. Ela, portanto, reflete e concretiza um importante momento cultural e político, transformando-a em um objeto de reflexão "(Turkle, 2004).

FIG. 4: Fluxo de informação, palavra-chave e ligação semântica. © Monika Fleischmann e Wolfgang Strauss, 2004.

Algumas perguntas surgem entre os participantes quando se discute as palavras. Estas questões são discutidas com outros visitantes sobre o local: "De onde estas palavras vêm?", "O que essas palavras relacionadas têm a ver com o meu termo selecionado?", "De que forma o anel de palavras se relaciona à minha palavra?", "As palavras estão ligadas à notícias atuais?”. O que realmente importa para nós como artistas não é a busca precisa de informação, mas o próprio diálogo e as associações pessoais dele decorrentes. Os visitantes interpretam os dados materiais do texto fornecido e elaboram um significado muitas vezes criticamente alterado, surpreendente ou impressionante para o conteúdo. Por meio dessa montagem em forma de diálogo, os artistas intervenientes encenam novos conhecimentos em processos de leitura da narrativa.

A interface como uma figura retórica

A instalação é uma fase de ensaio para a interatividade. As interfaces para esta plataforma performativa proporcionam o acesso ao material de jogo - as palavras. O fluxo de informação como interface é uma figura retórica e um dispositivo estilístico para leitura e escrita. Sua função é inspirar e expandir diretamente uma fonte explorativamente determinável. O conceito fluxo refere-se ao fluxo de dados contínuo, determinando nosso ambiente virtual de hoje. É uma corrente artificial, no entanto, tendo um relógio de pulso como um fluxo real. O fluxo acompanha a interação e a estimula. O fluxo de informação e a rede semântica de palavras relacionadas são produtores de dados. Antes de subir ao palco também nós escolhemos uma palavra enquanto assim inscrevemo-nos como um jogador parceiro.

A partir da figura retórica e digital utilizada respectivamente emana a figura do espelho do ator humano. Assim que um visitante escolhe uma palavra, o fluxo de informação é levado a parar. A interface de tela sensível ao toque ativa um diálogo com os dados virtuais. Conexões invisíveis entre as palavras tornam-se visíveis. A interação inspira a evolução de narrativas. A interface praticamente nos fala e diz: "É simples! Basta selecionar uma palavra e ela vem instantaneamente". Embora, a palavra venha junto com outras palavras. É como se a palavra quisesse dizer e demonstrar: "Veja quem eu trouxe junto". Depois disso o número incompreensível de 500 palavras é reduzido para cinco a seis palavras.

FIG. 5: Interfaces de tela sensível ao toque e o "Jornal Vivo” como uma montagem resultante da intervenção dos participantes. © Monika Fleischmann & Wolfgang Strauss, de 2004.

Baseada nas palavras e suas frases originais uma nova montagem do texto vem a ser aquilo que retrata os interesses pessoais dos visitantes. Integrados no espaço urbano três elementos construídos no espaço virtual de tempo dramatizado: o "Jornal Vivo", juntamente com o fluxo de dados e a esfera de som panorâmica. Considerando que, ao ler os olhos geralmente perseguem o texto, ou seja, as letras dentro da linha, eles agora focam para ler a palavra passando em movimento. As palavras passam, mas os olhos tentar manter-se com elas. Alguns visitantes aproveitam o momento no tempo e o movimento fisicamente indo junto com eles, enquanto refletem sobre a palavra e seu significado. A leitura aqui dura apenas enquanto a reflexão sobre uma palavra persiste. A transcrição fonética age como uma figura de "Appell" (apelo). O ato performativo é iniciado: de ser um observador para se tornar um ator, um participante interveniente e, finalmente, um produtor de dados.

Mudança de papéis

A encenação oferece espaço para múltiplos papéis sociais. A experiência de estar sendo observado faz parte da encenação. Além disso, uma mudança contínua de papel tem lugar. O visitante torna-se um espectador, então ele se torna um ator e, assim, um elemento da encenação. O público encontra uma ampla gama de papéis em relação ao diálogo entre os visitantes, o jogo multiusuário e a situação anônima de espectador da internet. Em vez de mediar um texto linear a estrutura conhecimento digital transmite um diálogo entre os participantes e os artefatos digitais. Através da leitura performativa as notícias estão sendo lidas novamente pelo público. Livre do contexto e da sintaxe dos textos originais as palavras isoladas abrem espaço para associações e especulações. Kaspar Spinner, um especialista em linguagem didática, descreve procedimentos operativos como permutação ou omissão como cognição promovendo a leitura e interpretação de textos (Spinner, 2001). A instalação "Energie-Passagen" [Passagem de Energia] fornece uma técnica de leitura e escrita que cria uma imaginação particular. Portanto, não trata simplesmente sobre a busca e localização de informação, mas sim sobre como compor próprios pensamentos em diálogo com a informação.

Processos de Leitura Narrativa

A encenação interativa inicia um movimento de leitura de palavra-chave a palavra-chave. Os visitantes fazem uma viagem ao lado das palavras simples para descobrir e revelar correlações semânticas. O processo de leitura se assemelha a fazer um trabalho de detetive. Correlações e conexões ocultas são complementadas e interpretadas em conjunto com os próprios pensamentos. Com este preenchimento associativo de lacunas os participantes criam seu próprio acesso. Wolfgang Iser, especialista em estudos alemães, mostra a leitura como um processo no qual o significado dos textos literais é gerado em primeiro lugar (Iser 1994, p.195). O significado resulta como um produto da interação entre texto e leitor. Quanto ao processo de leitura coletiva o significado resulta como um produto da interação e participação. Os visitantes agem como participantes intervenientes da performance-palavra-som. Eles se comunicam através do fluxo de palavras. Por entrelaçamento e absorção o trabalho artístico aparece como uma textura entrelaçada no espaço urbano.

O especialista em estética da mídia Peter Matussek aponta que a "Energie-Passagen" [Passagem de energia] se assemelha a uma encenação em que texto e leitor estão igualmente envolvidos: "Não se trata de jogar em torno de fragmentos de texto tecnóides, como o excessivamente comemorado culto ao hipertexto, mas preencher as lacunas remanescentes usando de uma forma estranha automatismos operacionais de modo suave. Isto se dá devido especialmente à impressionantemente harmoniosa, porém, fragmentária recomposição do que temos latentemente mantido como consumidores de notícias. Esta maneira de encenar a vida é enfaticamente soprada na escritura. Torna-se viva não apenas por causa do movimento das próprias fotos, mas por causa de sua prática de mídia para encenar leituras performativas em que texto e leitor igualmente participam de forma construtiva. Além disso, o entusiasmo compensatório faz com que o movimento de figuras flerte continuamente com a sua própria morte. Na era contemporânea do silício o futuro da escritura vez está mais dentro de formas visuais, esculturais e arquitetônicas de expressão do que na "oralidade secundária". Isto é exatamente o que a instalação faz os visitantes experienciarem sensitivamente "(Matussek 2004).

Neuropsicólogos distinguem dois processos diferentes para identificar o significado das palavras que o cérebro mantém e que são ativados em contextos divergentes. Ao ler um texto simples e comum o ato de ler parece fácil e sem esforço. Nós não temos de pensar sobre palavras isoladas. Mas assim que temos que prestar atenção em certas palavras ou frases, por causa de letras que faltam ou a caligrafia ruim e dificilmente legível, somos obrigados a raciocinar sobre o significado implícito no texto e o processo de leitura perde seus automatismos. Portanto, este atraso da leitura resulta em atenção. Um método semelhante está sendo utilizada para a atuação interativa. O leitor retarda seu movimento e começa a se perguntar sobre o significado da palavra e suas correlações semânticas. Através da utilização das palavras de um sistema não-linear a interface representa uma entidade narrativa que transforma o leitor em um ser performativo. Tudo neste jogo de linguagem depende do que está acontecendo no momento. Isso significa jogar com a linguagem, desenhar sentido a partir disso, reconsiderar e mudar as palavras envolvidas. Aqui, mudar significa dar sentido às palavras. Recombinar as palavras traz à tona atividade mental e conhecimento imprevisível.

FIG. 6: Jogos de linguagem performativa e troca verbal entre participantes © Monika Fleischmann e Wolfgang Strauss, 2004.

A instalação como dispositivo de medição

A intervenção do visitante é registrada digitalmente e gravada como "energia local” (Fleischmann, Strauss 2004 b). As ocorrências das palavras de jornais mais utilizadas são determinadas estatisticamente ao longo das quatro semanas de exibição. O Süddeutsche Zeitung [jornal do sul da Alemanha] é um dos mais importantes jornais formadores de opinião na Alemanha. O infográfico mostra raramente a frequência da educação e da cultura, ao passo que o relato sobre política e economia domina. Particularmente palavras usadas com frequência do jornal como "porcento", "anos", "Alemanha", "milhões" são de qualidade objetiva. No entanto, a maioria das palavras escolhidas pelos participantes são de qualidade emocional: "preço", "pais", "vítima", "amor", "comida", "menina". Assim, a pragmática sóbria do jornal enfrenta a subjetividade emocional dos participantes intervenientes.

FIG. 7: Protocolo de medição interativo codificados por cores © Monika Fleischmann e Wolfgang Strauss, 2004.

Em relação à visualização do diálogo entre cidadãos e editores de jornais, alguém pode lembra-se de "A Imagem da Cidade" (1960) de Kevin Lynch. Lynch analisa a cidade como uma forma física, porque ele assume correlações entre a percepção humana e a arquitetura que os envolve. "Energie-Passagen" [Passagens de Energia] encena a cidade como um espaço de ensaio para os outros com base em ferramentas de monitorização investigativa. A instalação liga indivíduos no espaço público e evoca uma observação crítica. Este processo interativo oferece aos participantes um feedback local que ainda é aumentado na câmara de eco global em rede.

FIG. 8: Fluxo de trabalho da instalação interativa © Monika Fleischmann e Wolfgang Strauss, 2004.

Espaço de experiência torna-se espaço de pensamento

Enquanto a arquitetura da cidade lida com os processos de busca da forma e design, esta instalação revela a energia da cidade e do conhecimento imprevisto de seus cidadãos por meio de processos de manifestação devido à sua dramaturgia interativa. Os participantes são espectador, ator, escritor e intérprete em uma e mesma pessoa. Durante algum ato, eles estão encenando atos performativos para os outros. Os participantes experimentam-se na recepção estética como produtores de dados que executam uma obra cênica em conjunto com produtores de dados virtuais. As diferentes formas de interagir permitem aos visitantes experimentar com o seu papel social como atores de uma forma que não é dada na comunicação real do dia-a-dia. O público experimenta a mudança de sentido por meio de processos visuais e acústicos de descontextualização. A instalação interativa destaca o conhecimento experieciado. Os participantes experimentam um espaço de pensamento que molda eles mesmos.

Em seu romance autobiográfico "Viver para contar" o escritor Gabriel Garcia Marquez menciona um exemplo de interatividade analógica. Ele relata sobre o jornal El Espectador de Bogotá. Como na escola uma lousa era colocada na varanda do El Espectador ao meio-dia e às cinco horas da tarde. As últimas mensagens eram escritas em giz. A esta altura, uma multidão esperava impacientemente pela notícia. Os leitores de rua também tiveram a oportunidade de receber a boa notícia com sua ovação e aqueles que desagradaram-se a vaiar ou reconhecer com pedras na lousa. Esta foi uma forma direta de expressão democrática do Espectador, um termômetro para medir a febre da opinião pública (Marquez, 2002). Aqui encontramos um modelo inicial de interatividade.

A exposição Whole Earth em Berlim, apresentada na Casa das Culturas do Mundo no verão de 2013, traz luz para um outro modelo de participação no início do nível de um estado-nação. No início do governo Allende no Chile uma Comissão Cibernética foi iniciada para desenvolver novos processos de trabalho, por exemplo, direção cibernética computadorizada da economia. Um dos primeiros esboços para este projeto aponta para a necessidade de estruturas participativas para gerar e compartilhar novas ideias. (Diedrichsen 2013) "Energie-Passagen" [Passagens de Energia] seria um modelo digital razoável para a criação e armazenamento de ideias.

Referências

Adorno T.W. (1970) Über Walter Benjamin, Frankfurt a. M. 1970
Findeisen H.-V. (2004) Auf und davon [WWW] Die Zeit 11.03.2004 Nr.12 Available from: http://www.zeit.de/2004/12/Passagen-Alpen [03.31.2013].
Fleischmann M., Strauss, W. (2004 a) Energie-Passagen [WWW] ZKM. Available from: http://energie-passagen.de [03.31.2013]
FLEISCHMANN M., STRAUSS W. (2004 b) Energie-Passagen Webinstallation und Archiv.  [WWW] ZKM. Available from: http://www.energie-passagen.de/webinstallation.html [03.31.2013]
MARQUEZ G.M. (2002) Live to tell them. Cologne. P.320
Matussek P. (2004) „Kein technoides Herumgewürfle mit Textfragmenten ...“ [WWW] ZKM. Available from: http://www.energie-passagen.de/presse2.html [03.31.2013]
MILGRAM P., KISHINO F. (1994) A Taxonomy of Mixed Reality Visual Displays. In IEICE TRANSACTIONS on Information and Systems Vol.E77-D  No.12  
Paul C. (2004): „a fusion of public arenas ...“ [WWW] ZKM. Available from: [03.31.2013].
Schulze H. (2005)  On Taking Back An Artifical Separation. Introduction to Sound Art Visual, Transmediale 05 [WWW] ZKM. Available from: [03.31.2013]
Spinner K.H. (2001) Kreativer Deutschunterricht. Identität – Imagination – Kognition. Seelze
Strauss W., Fleischmann M. (1999) Staging the space of mixed reality - reconsidering the concept of a multi-user; Environment. In: Proc. of VRML 99-Fourth Symposium on the Virtual Reality Modeling Language, ACM, New York
Strauss W., Fleischmann M. (2005) Implosion of Numbers - Performative Mixed Reality . In: Weibel,P; Flachbart,G. (eds): Disappearing Architecture. Basel [WWW] Available from: http://netzspannung.org/database/313652/de  [03.31.2013].
Turkle S. (2004): „A true evocative object ...“ [WWW] ZKM. Available from: www.energie-passagen.de/presse2.html [03.31.2013]

Bibliografia

BENJAMIN W. (1982) Das Passagen-Werk. Gesammelte Schriften. Bd. V. Frankfurt a. M.
DIEDRICHSEN D. FRANKE A. (2013) The Whole Earth. California and the Disappearance of the Exterior. Berlin.
Fleischmann M.Strauss W. (2008) Interactivity as Media Reflection between Art and Science, In: The Art and Science of Interface and Interaction Design by Sommerer C. et al., Wien: Springer  P. 86.
Fleischmann M., Strauss W. (2011) Performing Data  [WWW] Fleischmann-Strauss.de. Available from: http://fleischmann -strauss.de/resources/Performing_Data_09_2011_Monika_Fleischmann_Wolfgang_Strauss.pdf [03.31.2013].
Iser W. (1994) Der Akt des Lesens. Stuttgart
FLUSSER V. (1997) Medienkultur. Frankfurt a. M.
Lynch K. (1960) Image of the City, Cambridge/Mass.
Strauss W., Fleischmann M. (2005) Implosion of Numbers - Performative Mixed Reality . In: Weibel P., Flachbart G. (eds): Disappearing Architecture. Basel, Birkhaeuser. [WWW] Available from: http://netzspannung.org/database/313652/de  [03.31.2013].
Wittgenstein L. (1967) Philosophische Untersuchungen. Frankfurt a. M. Suhrkamp

The city as knowledge space

How can we measure the mental energy of a place? How will it become visible through interactivity of its inhabitants? What is the character of the interactive play material? Is it data compiled by the artist, or is it procedurally acquired data, for example via internet, as in this project. In which way are the data artistically processed? Are they processed by hand or following generative rules? These are the questions at the beginning of the project. It is a task of generative art to find simple and open interactive rules for an autonomous game. Algorithms are developed primarily by linguistic expressions and in the second step transformed in machine readable code. In the media art installation “Energie-Passagen” (Fleischmann, Strauss 2004 a) several strands converge: the concept of participation of residents, the development of a generative code, the development of an interactive stage, that shows and documents the play with its digital material.

The city itself is an anonymous construction, an entity that stands vis-à-vis to the inhabitants. The city stands in opposition to the others. Countless people and information flow into and out of the city through the network of transport channels. Only if the residents link urban life to specific moments – individual and collective, they will make it to remember particular places of the city. Through the media art installation “Energie-Passagen” (Fleischmann, Strauss 2004 a) urban space is employed as a stage for individual and collective narrations.  The installation brings together the residents of the city – the one and the other – with all their differences and analyzes how participative methods affect processes regarding the formation of public opinions. The interactive staging in public space creates a situation in which various points of views and manifold energies are able to unfold. The combination of virtual and physical space builds an urban realm, which evokes communication. What is reminiscent while observing the others is the very own, but at the same time the differing within the other. A perception which lives up to the other is never truly possible. Nevertheless, art is able to contribute to see and notice the others, i.e. to realize that I presumably do not know the other, but that I can learn from her or him. With this kind of understanding the intended language space turns into a playground for unconstrained exchange. The way people think within a city, the language of their media, their poets and the language of politics are all flows of energy that characterize a city. Language is mental energy, according to Heidegger it is the ‘house of being’. Thought, written and spoken words form a flowing tissue; i.e. a language space that surrounds the built city like an invisible architecture. It is this energy that we unveil and visualize in the public city sphere through a news stream.

Urban space as place of publicly visible intervention

With the interactive installation we implement the daily news as an audio-visual flow of information on the square in front of the House of Literature in Munich (Strauss, Fleischmann 2005, 118-131). In November 2004 visitors find themselves unexpectedly within the interactive happening of a language-game (Sprachspiel) on the Munich square “Salvatorplatz”. Electronic words stream across the ground in front of the illuminated House of Literature as well as across the staircase steps, stone benches and tables. The location is overlayed by a virtual light- and acoustic space. The installation transforms the newspaper into a passable walk-in data stream of daily news. Headwords of the latest news stories are illustrated like a news ticker as a flow of words. Artificial voices read out single words. Touch-screen and microphone enable visitors to modify the word flow and select individual terms. A semantic system immediately adds several similar ‘friendly’ words to this selection. The linguistic flux becomes visible to all through the streaming of words. Some visitors try to identify the meaning and correlation behind the words; others toss words at each other like in scenic dialogues. All participants become actors and all data-entries become data-performers. Interactively the news gets rearranged and visualized on the projection screen as a ‘Living Newspaper’.

The curator Christiane Paul describes the overlay of the physical city space with the linguistic data space as a fusion of two public spheres: “Literally inscribing the daily news as a linguistic and semantic space onto the streets of the city creates a fusion of public arenas that usually remain fairly separated in the physical sense: the public information space of daily events and the local, public space of the city traversed by a constant flow of people. While the inhabitants of a city naturally dwell in both of these spaces – the public domain of information and of the city – they usually do not have the possibility to experience these localities as connected networks or collaboratively reconfigure them” (Paul 2004). In the overlaying of both spaces the installation opens up – sensually as well as cognitively – a new experience of collectively feeling a discursive mental space.

Fig. 1: “Energie-Passagen” [Passages of Energy] in front of the House of Literature in Munich ©Monika Fleischmann & Wolfgang Strauss, 2004 

Artistic concept, influencers and techniques

The project title “Energie-Passagen” [Passages of Energy] is derived from the understanding of language as mental energy. It is directed to Flusser’s term of passage and refers to Walter Benajmin’s “Passagen-Werk” [The Arcades Project]. Vilém Flusser defines the term passage as a journey in which single elements get ‘passed through’ as fragments of a broader context to merge single impressions as parts of a whole into a tangible image (Findeisen 2004). Flusser’s term of passage is to be understood against the background of nomadism, the contemporary mobile lifestyle of the ‘telematic society’. In contrast to ‘sedentary’ thinking in terms of fixed categories this corresponds to thinking in terms of relationships. Walter Benjamin’s method of text montage in his “Passagen-Werk” [The Arcades Project] inspired the project, too. Adorno remarks that Benjamin tries “to do without any kind of evident interpretations and to get the meanings exclusively revealed through a way of shock provoking material montage” (Adorno 1970, p. 26). Likewise, yet in a contemporary manner, the newspaper articles are fragmentized by the code and are represented through the intervention of the participating visitors as a new montage. The participants are confronted with continuous new constellations of terms and establish hereby new associations.

The starting point for the statistical measurement regarding the inter-/actions is the frequency of particular, chosen words. By using RSS feeds of the Süddeutsche Zeitung [South German Newspaper] daily information is processed through a linguistic tool and automatically entered into the system day by day. Generated from 30.000 words of the daily edition, the newspaper is reduced to the 500 mostly mentioned catchwords. The new edition is calculated as a semantic conceptual network, projected as a word flow onto the ground and portrayed as an audio-visual panorama in the city realm. Architectural space is enriched and layered with artificial artefacts gently moving in space. An unknown image of the city is revealed.

/>

Fig. 2: The Süddeutsche Zeitung [South German Newspaper] as a semantic information network and interface prototype of the news flow, from June 24th 2004 ©Monika Fleischmann & Wolfgang Strauss, 2004. 

News Streams running through ourselves

The sonification of the data by means of artificial voices extends the visual experience of the installation on the auditory level. A text-to-speech method converts the words to a sound-panorama and supplements the movement of the image complementary. The spatially staged sound, the fluid motion and the gestures of selecting create an atmosphere of ceaseless change. The performing visitors orient themselves according to the echo of these medial elements and it results in a form of echolocation. While one word is still being uttered, it is already heard and while it is being heard, inner images evolve. The hearing and imagination mutually reinforce each other. The sound scientist Holger Schulze describes the simultaneity of image, sound and motion as “The Orchestration of sensual and perceptual Media and News Streams” (Schulze 2005, p. 8) which has an impact on the human body. He states: ”we could have the impression all the current newsstreams were running through ourselves” (Schulze 2005, p. 7).

The visitors participate in a performative reading whose words literally flow through the body and make the audience perceive the place sensitized. This is being achieved through the seamless implementation of the virtual image and sound space into the real city environment. The expression Mixed Reality designates the technical format (Milgram, Kishino 1994, pp. 1321-1329). However, we also understand Mixed Reality as the format of a seamless, sensomotorical and cognitive entanglement of perception (Strauss, Fleischmann 1999, pp. 93-98). The amazing compatibility arises because analog perception and digital fiction – i.e. the overlaying of physical and virtual reality – generate a thinking and knowledge space which one apparently can feel physically. This has been confirmed by visitors in numerous interviews.

Fig. 3: The interface model of the information flow in Web format. http://energie-passagen.de/webinstallation.html © Monika Fleischmann & Wolfgang Strauss, 2004.

The information flow as an object of reflection

The metaphor of the information flow serves to convey a picture of the information overload phenomenon. The daily news literally flow as a stream of thoughts across the square and turn into passable and apparently tactile entities in the urban realm. Passersby intervene in the staging by picking words according to their own interest. The system answers by offering five additional keywords, semantically related to the search word origin. The ring of words is chromatically highlighted in green, which floats for some time clearly visible in the projected white colored word flow. Thus the intervening actor is offered the opportunity to further explore the appearing words and to link them to own thoughts, associations or feelings. The sociologist Sherry Turkle defines the “Energie-Passagen” [Passages of Energy] as an evocative device generating a higher level of attention by means of the implemented staging. Thereby it becomes an object of reflection. Turkle characterizes the receptive experience of the visitors by the active participation in the process of the deconstruction and the re-construction. Turkle sees this as a chance that enables the visitors to get an idea about our culture of simulation: “The notion of a spatial experience of the discourse of the news within a city space and the possibility of deconstructing the newspaper captures the fragmentation of how media is experienced by citizen in a culture of simulation. It thus mirrors and concretizes an important cultural and political moment, turning it into an object for reflection” (Turkle 2004).

Fig. 4: Information flow, keyword and semantic linking. © Monika Fleischmann & Wolfgang Strauss, 2004.

Some questions arise amongst the participants when discussing the words. Those questions are discussed with other visitors on the spot: “Where do these words come from?” “What do these related words have to do with my selected term?” “In which way is the ring of words related to my keyword?” “Are the words connected to the current news?” What really matters to us as artists is not the precise search for information, but the dialogue itself and the personal associations arising from it. The visitors interpret the given text materials and elaborate an oftentimes critically changed, startling or astonishing meaning to the contents. By means of this montage in the form of dialogue, the intervening performers stage new knowledge in processes of narrative reading.

The interface as a rhetoric figure of data transmission

The installation is a rehearsal stage for interactivity. The interfaces to this performative platform provide access to the play material – the words. The information flow as interface is a rhetorical figure and a stylistic device for reading and writing. Its function is to inspire and directly expand an exploratively ascertainable supply. The notion flow refers to the continuous ongoing data flow determining our today’s virtual environment. It’s an artificial flowing, however, bearing a clock pulse like a real flow. The flowing accompanies the interaction and spurs it on. The information flow and the semantic network of related words are data performers. Before we go on stage too we pick a word while thus signing us up as a fellow player.

From the respectively used digital and rhetorical figure emanates the mirror figure of the human actor. As soon as a visitor chooses a word, the information flow is caused to stop. The touch screen interface activates a dialogue with the virtual data. Invisible connections between the words become visible. The interaction inspires for evolving narratives. The interface practically speaks to us and says: “It’s simple! Just select a word and it comes by instantly.” Though, the word comes along with further words. It is as if the word wanted to say and demonstrate: “Look who I’ve brought along.” Thereafter the mind-boggling number of 500 words is diminished to five to six words.

Fig. 5: Touch screen interfaces and the ‘Living Newspaper’ as a montage resulting from intervening participants. © Monika Fleischmann & Wolfgang Strauss, 2004.

Based on the words and their original phrases a new montage of the text comes into being that portrays the personal interests of the visitors. This “Living Newspaper” represents together with the information flow the main figure of the interactive play with dramatized time. Whereas while reading the eyes usually pursue the text, i.e. the letters within the line; they now focus to read the moving and passing word. The words pass by, but the eyes try to keep up with them. Some visitors take advantage of the moment in time and the motion by physically going along with them while reflecting on the word and its meaning. The reading lasts here just as long as the reflecting on a word persists. The phonetic transcription acts as a figure of “Appell” (appeal). The performative act is initiated: from being an observer to becoming an actor, an intervening participant and finally a data performer.

Change of roles

The staging offers space for manifold social roles. The experience of being watched is part of the staging. Furthermore, a continuous change of roles takes place. The visitor becomes a spectator, then he becomes an actor and thereby an element of the staging. The audience encounters a wide range of roles regarding the dialogue between the visitors, the multi-user game and the anonymous situation of the internet spectator. Instead of mediating a linear text the digital knowledge structure conveys a dialogue between the participants and the digitals artifacts. Through performative reading the news are being read anew by the audience. Freed from context and syntax of the original texts the isolated words open up room for associations and speculations. Kaspar Spinner, an expert on language didactics, describes operative procedures like permutation or omitting as cognition fostering when reading and interpreting texts (Spinner 2001). The installation “Energie-Passagen” [Passages of Energy] provides a reading and writing technique which creates a particular imaginativeness. Therefore, it is not just simply about seeking and finding information, but rather about composing own thoughts in dialogue with the information.

Reading processes

The interactive staging initiates a reading movement from keyword to keyword. The visitors take a journey alongside the single words to discover and unveil semantic correlations. The reading process resembles doing detective work. Hidden correlations and connections are complemented and interpreted together with own thoughts. With this associative filling of gaps the participants create their very own access. Wolfgang Iser, a specialist in German studies, depicts reading as a process in which meaning of literal texts gets generated in the first place (Iser 1994, p.195). Meaning results as a product from the interaction of text and reader. Regarding the collective reading process the meaning results as a product from interaction and participation. The visitors act as intervening participants of the word-sound-performance. They communicate through the flow of words. By interweaving and absorbing the artistic work appears as an interwoven texture in the urban space.

Media aesthetics specialist Peter Matussek points out that the “Energie-Passagen” [Passages of Energy] resemble a staging in which text and reader are equally involved: “It is not about throwing around technoid text fragments like what the hypertext cult celebrated excessively, but filling the remaining gaps using in an odd way smoothly operating automatisms. This especially due to the strikingly harmonious, however, fragmentary recomposing of what we have latently retained as consumers of the news. In this way of staging life is emphatically breathed into scripture. It becomes vivid not just because of the bare motion of pictures itself, but because of its media practice to stage performative readings in which text and reader equally participate in a constructive way. Additionally, the compensatory flare-up makes the motion of pictures continuously flirt with its own demise. In the contemporary silicon age the future of scripture rather lies within visual, sculptural and architectural forms of expression than in “secondary orality”. This is exactly what the installation makes the visitors sensitively experience” (Matussek 2004).

Neuropsychologists distinguish two different processes to identify the meaning of words which the brain holds and which are activated in divergent contexts. When reading a simple and ordinary text the act of reading appears easy and effortless. We do not have to think about the single words. But as soon as we have to pay attention on particular words or phrases, because of lacking letters or a bad and hardly readable handwriting, we are forced to reason about the meaning implied by the text and the reading process loses its automatisms. Therefore this hold-up of reading results into attentiveness. A similar method is being used for interactive stagings. The reader slows down his movement and starts to wonder about the word meaning and their semantic correlations whilst individual words emerge along with ‘related’ word clusters from the word flow by means of the given selection on the touch screen. Through using the words of a non-linear system the interface represents a narrative entity that turns the reader into a performative one. Everything in this  language game depends on what is happening at the moment. That means to play with language, to draw meaning from it, to reconsider and relocate the involved words. Here, to relocate means giving meaning to words. Recombining the words brings out mental activity and unforeseeable knowledge.

Fig. 6: Performative language games and verbal exchange between participants © Monika Fleischmann & Wolfgang Strauss, 2004.

The installation as measuring device

The visitors’ intervening is digitally registered and recorded as ‘local energy’ (Fleischmann, Strauss 2004 b). The occurrences of the most frequently used newspaper words are statistically determined throughout the four week long exhibition. The Sueddeutsche Zeitung [South German Newspaper] is one of the most important opinion-forming newspapers in Germany. The infographic shows the seldom frequency of education and culture, whereas the reporting on politics and economy dominates. Particularly frequently used words of the newspaper such as “percent”, “years”, “Germany”, “millions” are of objective quality. However, the majority of the words selected by the participants are of emotional quality: “price”, “parents”, “victim”, “love”, “food”, “girl”. Thus the sober pragmatics of the newspaper faces the emotional subjectivity of the intervening participants.

Fig. 7: Color coded interactive measurement protocol ©Monika Fleischmann & Wolfgang Strauss, 2004.

Regarding the visualization of the dialogue between citizens and newspaper publishers, one is reminded of Kevin Lynch’s “Image of the City” (1960). Lynch examines the city as a physical form, because he assumes correlations between the human perception and the architecture surrounding them. “Energie-Passagen” [Passages of Energy] stage the city as a rehearsal space based on investigative monitoring tools. The installation links individuals in the public space and evokes a critical observing. This interactive process offers the participants a local feedback that yet increases in the global networked echo chamber.

Fig. 8: Workflow of the interactive installation © Monika Fleischmann & Wolfgang Strauss, 2004.

Space of experience becomes thinking space

While the city architecture deals with processes of form finding and design, this installation reveals the city energy and the unforeseen knowledge of their citizens by processes of unconcealing due to its interactive dramaturgy. The participants are beholder, actor, writer and interpreter in one and the same person. While some act, they are staging performative acts for the others. The participants experience themselves in the aesthetic reception as data performers who perform a scenic work in conjunction with virtual data performers. The different forms of interacting enable the visitors to experiment with their social role as actors in a way which is not given in the real day-to-day communication. The audience experiences the changing of meaning through visual and acoustic processes of decontextualization. The interactive installation highlights the experienced knowledge. The participants experience a thinking space which they shape themselves.

References

Adorno T.W. (1970) Über Walter Benjamin, Frankfurt a. M.
Findeisen H.-V. (2004) Auf und davon [WWW] Die Zeit 11.03.2004 Nr.12 Available from: http://www.zeit.de/2004/12/Passagen-Alpen [03.31.2013].
Fleischmann M., Strauss, W. (2004 a) Energie-Passagen [WWW] ZKM. Available from: http://energie-passagen.de [03.31.2013]
FLEISCHMANN M., STRAUSS W. (2004 b) Energie-Passagen Webinstallation und Archiv.  [WWW] ZKM. Available from: http://www.energie-passagen.de/webinstallation.html [03.31.2013]
Matussek P. (2004) „Kein technoides Herumgewürfle mit Textfragmenten ...“ [WWW] ZKM. Available from: http://www.energie-passagen.de/presse2.html [03.31.2013]
MILGRAM P., KISHINO F. (1994) A Taxonomy of Mixed Reality Visual Displays. In IEICE TRANSACTIONS on Information and Systems Vol.E77-D  No.12  
Paul C. (2004): „a fusion of public arenas ...“ [WWW] ZKM. Available from: www.energie-passagen.de/presse2.html [03.31.2013].
Schulze H. (2005)  On Taking Back An Artifical Separation. Introduction to Sound Art Visual, Transmediale 05 [WWW] ZKM. Available from: [03.31.2013]
Spinner K.H. (2001) Kreativer Deutschunterricht. Identität – Imagination – Kognition. Seelze
Strauss W., Fleischmann M. (1999) Staging the space of mixed reality - reconsidering the concept of a multi-user; Environment. In: Proc. of VRML 99-Fourth Symposium on the Virtual Reality Modeling Language, ACM, New York
Strauss W., Fleischmann M. (2005) Implosion of Numbers - Performative Mixed Reality . In: Weibel,P; Flachbart,G. (eds): Disappearing Architecture. Basel [WWW] Available from: http://netzspannung.org/database/313652/de  [03.31.2013].
Turkle S. (2004): „A true evocative object ...“ [WWW] ZKM. Available from: www.energie-passagen.de/presse2.html [03.31.2013]

Bibliography

BENJAMIN W. (1982) Das Passagen-Werk. Gesammelte Schriften. Bd. V. Frankfurt a. M.
Fleischmann M.Strauss W. (2008) Interactivity as Media Reflection between Art andScience, In: The Art and Science of Interface and Interaction Design by Sommerer C. et al., Wien: Springer  S. 86.
Fleischmann M., Strauss W. (2011) Performing Data  [WWW]  Fleischmann-Strauss.de. Available from: http://fleischmann -strauss.de/resources/Performing_Data_09_2011_Monika_Fleischmann_Wolfgang_Strauss.pdf [03.31.2013].
Iser W. (1994) Der Akt des Lesens. Stuttgart
FLUSSER V. (1997) Medienkultur. Frankfurt a. M.
Lynch K. (1960) Image of the City, Cambridge/Mass.
Strauss W., Fleischmann M. (2005) Implosion of Numbers - Performative Mixed Reality . In: Weibel P., Flachbart G. (eds): Disappearing Architecture. Basel, Birkhaeuser. [WWW] Available from: http://netzspannung.org/database/313652/de  [03.31.2013].
Wittgenstein L. (1967) Philosophische Untersuchungen. Frankfurt a. M. Suhrkamp