Home > Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Tags:kunst
Advertisement

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

project Overzicht

Kun je je voorstellen volslagen vreemden wandelen tot een kunstinstallatie op straat en samenwerken met elkaar om muziek uitsluitend gedreven door hun gezichtsuitdrukkingen te creëren?

Door het versterken van de verbinding tussen de mensen en de gemeenschap die ze delen, kunnen wijken beginnen om positief te beïnvloeden hun fysieke, sociale en emotionele welzijn. Hieronder vindt u een korte video op een prototype ontworpen om dergelijke groepsdynamiek stimuleren, plus een 13 stap Instructables over hoe "The Sound of Emotion" project samen kwamen!

Stap 1: Oproep voor Deelnemers: San Francisco Market Street Prototyping Festival

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Market Street loopt door het centrum van San Francisco. Dit uitgestrekte boulevard was ooit de parel van de stad, maar in de loop van de jaren is zanderig, onaantrekkelijk en soms gevaarlijk worden. Mass Transit uit BART en muni dienst van de straat dus het is goed gereisd, maar voetgangers berekenen vaak hun baan zorgvuldig confrontaties te vermijden bij het gebruik van de trottoirs.

In een poging om verandering voor Market Street tot stand te brengen, het Yerba Buena Center for the Arts (YBCA), de San Francisco Planning Department, en de James L. Knight Foundation de handen ineen geslagen en een open call for proposals te reimagine en opnieuw uit te vinden op dit gebied aangekondigd . Hun bedoeling was om te selecteren en de positie van 50 planners / ontwerpers / kunstenaars om prototypes te maken voor opname in een drie dagen durende evenement, "Market Street Prototyping Festival" (MSPF).

Ik was opgewonden om in eerste instantie te ontdekken de MSPF terrein en zeer onder de indruk van hun visie en vastberadenheid op zo'n uitdagend project te nemen! De voorgestelde festival zou een geweldige kans om te innoveren en krijg belangrijke feedback te geven.

Stap 2: Beslissen om een ​​voorstel Maken: The Sound of Emotion

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Na bestudering van de missie, zoals beschreven door het festival planners, begon ik om de mogelijkheden te verkennen voor een installatie die zou eren unieke kwaliteiten van San Francisco, plus mensen samen te brengen op een wijze die hun verbinding met elkaar zouden versterken. Muziek, kunst, wetenschap en technologie zijn alle attributen die binden in de culturele en sociale identiteit van San Francisco - ik voelde het ideaal om zoveel mogelijk van die facetten mogelijk op te nemen zou zijn.

Hoewel een kleine toelage aan de geselecteerde teams zou worden verstrekt, het ontwikkelen van een project als dit zou veel tijd en kosten vergen. Na uitgebreid brainstormen met potentiële co-developers (dat is de code voor het dwingen van mijn goede vrienden in te stemmen om te werken voor gratis), ik vormden een vijf koppig team, dan is gemaakt en een voorstel voor een project ingediend: The Sound of Emotion.

De SOE team:

  • Paul Pillitteri - Lead, Design & Fabrication

  • Seth Neiman - Adviseur & Technology
  • Josh Coleman - Community & Composer
  • Howard Cohen - Software
  • Evan Kuester - Design

Lees meer over elk teamlid op de volgende URL: http://thesoundofemotion.com/team/

Stap 3: Crowd Sourcing Inspanning San Francisco Pays Off

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Voor zijn vooruit denken en ongewone 'crowd sourcing' inspanning, het is mijn opvatting dat het Yerba Buena Center for the Arts en de SF City Planning Department ontving bijna 250 voorstellen uit vier landen. Het zou heel interessant zijn geweest om het bereik van de ideeën die werden afgeleverd zien! Na een uitgebreide due diligence van hun kant, selecteerden zij de top 50. Gelukkig, The Sound of Emotion kreeg de officiële teken van acceptatie.

High fives rondom - het is tijd om te vieren !! Nee wacht ... we hebben eigenlijk dit ding nu bouwen!

Stap 4: Muziek Evolved als een instrument van sociale Living

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Het voorgestelde project rond twee grote attracties.

Aantrekkelijkheid 1: Muziek als een universele taal die mensen bij elkaar brengt.

Onderzoekers Chris Loersch en Nathan Arbuckle publiceerde onlangs een artikel in het Journal of Personality en Sociale Psychologie dat muziek verkent als een geëvolueerde groepsproces. Hun gezamenlijke bevindingen bewijzen dat muziek kan zijn geëvolueerd om de intense sociale behoeften van onze soort dienen. Dit suggereert dat de sterke psychologische aantrekkingskracht van muziek in het moderne leven kan uit het aangeboren vermogen om ons te verbinden met anderen.

Het voelde intuïtief dat de muziek van de band tussen de bewoners van Market Street zal versterken als het heeft meer dan de geschiedenis van onze evolutie. Dit zou de ruggengraat van ons project en het voorstel te worden.

Stap 5: Wetenschap & Technologie trekt het allemaal samen

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Aantrekkelijkheid 2: Science and Technology.

Het team was zeer gelukkig om bijzondere toegang tot de opkomende technologie van "expressie erkenning" met dank aan Emotient, Inc. hebben

De oprichters van Emotient zijn de makers van geautomatiseerde gezichtsuitdrukking erkenning, en zijn leiders in de machine learning en cognitieve gedragstherapie velden. De technologie werkt door het detecteren van de kleine spierbewegingen in de gezichten van mensen - op dezelfde manier als mensen doen. De technologie is in staat om het herkennen van de zeven basisemoties evenals vele andere hoger niveau staten zoals blij, verdrietig, verwarring, verloving, opwinding, pose, en blik.

Stap 6: Software Development in volle gang

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Na meerdere vergaderingen software-ontwikkeling, werd een architectuur voorgesteld en overeengekomen. "ThinSOM," onze douane iPad app zou worden gecreëerd om gezichtsuitdrukkingen te vangen en stuur ze naar onze eigen "SOM" server. De server noemt Emotient's erkenning motor om gezichten te analyseren, dan als een controller, activeert een softwareprogramma, Ableton Live, voor het uitvoeren van de muzieknummers.

Hoewel we alle zeven emoties zou analyseren, na het uitvoeren van een eerste analyse van de complexiteit voor een installatie op de straat, hebben we een vereenvoudiging van de beslissing om de deelnemers te vragen om slechts twee staten (blij en verdrietig) mime.

Er zouden vier iPads, elk met de aangepaste app en een MAC met de server en Ableton werking, verborgen in een elektronica lade onderaan. De communicatie tussen de apparaten zouden worden uitgevoerd via een draadloos ad hoc netwerk.

De architectuur veranderd meerdere malen in de loop van de ontwikkeling compromissen gemaakt over hoe de applicatie en server gecommuniceerd met elkaar, welke entiteit de meerderheid van de verwerking zou doen en statusinformatie is bijgewerkt aan de deelnemer. In de periode van ontwikkeling, werden ongeveer 4000 regels code in totaal geschreven. De voornaamste talen zijn C, C ++ en mod_perl.

Stap 7: Musicial Compositions

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Met de software aan de gang, werd een spec ontwikkeld voor de muzikale composities. We wilden de diversiteit van San Francisco te vieren met interessante cross-culturele muziek. 15 unieke samenstellingen werden uiteindelijk gemaakt. We wisten van te voren zouden er ten minste twee verschillende uitdagingen:

Challenge1: De muzikale composities die nodig is goed klinken en verblijf in sync met een van de 64 mogelijke muzikale combinaties. De vier unieke instrumenten (één instrument per iPad) en twee staten (blij en verdrietig) zou een totaal van acht aangepaste muzikale tracks vereisen. De tracks zou in- en uitschakelen, afhankelijk van het aantal deelnemers en hun gezichtsuitdrukkingen (bijvoorbeeld alle vier instrumenten kunnen spelen in "happy" mode of alle vier in "sad" modus of twee gelukkige tracks en twee triest tracks, etc. ).

Oplossing 1: Bouw de samenstelling in lagen en de sporen tegen elkaar te testen in meerdere combinaties. Op basis van het ontwerp slechts vier tracks kon tegelijkertijd gespeeld worden, echter was nuttig om tegelijkertijd samen te stellen en te luisteren naar alle acht tracks, het controleren op dissonantie en synchronisatie problemen.

==========

Challenge 2: De muzikale voorstelling van happy versus trieste is zeer subjectief. Het project had niet het budget of de time to market acceptatie testen uit te voeren.

Oplossing 2: De debuteerde samenstelling omvatte vier instrumenten; gamelan klokken, percussie, strijkers en vocalen. Ook al is de gelukkige en droevige toestanden gebruikt dezelfde fundamentele instrument, werd aandacht besteed aan het creëren van een waarneembaar en hoorbaar verschil tussen elke staat, zodat de deelnemers wisten dat ze het regelen van de samenstelling. Op het einde, was het verschil merkbaar, maar ik denk dat de verandering tussen blij en verdrietig meer uitgesproken kunnen worden, krijgen meer ontwikkelingstijd.

Stap 8: Software> MIDI> Ableton Live

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Als de software en muziek vorm kreeg, waren we sterk van bewust dat latency problemen kritisch zou zijn. De muzikale verandering zou moeten merkbaar en idealiter onmiddellijk een keer per deelnemer veranderd uitdrukkingen te zijn. De code in verband met de inwerkingtreding van het muzikale circuit verandering was uiterst ingewikkeld. We verkend tal van manieren om de muziek te leveren en experimenteerde met verschillende bestandsformaten. Na veel onderzoek en overleg, we bevestigde het gebruik van Ableton Live als het programma in elkaar te zetten en te synchroniseren van de tracks.

Om dit te vergemakkelijken, schreven we code om een ​​MIDI-controller, die in staat van het uitlokken van Ableton vergelijkbaar met een toetsenbord na te bootsen. Ontelbare uren besteed aan het bespreken en experimenteren hoe en wanneer te veranderen elk instrument te wisselen tussen de emotie staten; zouden we doen het op de beat, de bar of het zin? Op het einde, kwamen we met een elegante en eenvoudige oplossing:

1) Alle acht tracks zou naadloze loops van 1:59 minuten.

2) De installatie zou alle acht tracks te lanceren in een keer, maar zet de luidspreker voor het geschikte instrument (s) die werd aangedreven door een deelnemer, indien van toepassing. Deze techniek zou het sync probleem elimineren alle tracks zou beginnen op hetzelfde moment en voortdurend afspelen, zelfs als ze niet aan de master uitgang en dus de externe luidsprekers wordt geleverd.

Stap 9: 1000 Fabrication Details

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Met de muziek en software in volle ontwikkeling, draaide ik aandacht voor de fysieke structuur. Aangezien dit prototype was om te leven op de straat voor slechts drie dagen, was ik niet al te bezorgd over verharding het voor street misbruik, maar wel zorgen voor de iPads en MAC op een manier die het moeilijk te verwijderen zonder speciaal gereedschap gemaakt.

Meerdere ontwerpen werden gecreëerd en zodra we landden op de huidige vorm, werden de contouren vastgelegd en postverwerking werd in Vcarve Pro afgerond. De vijf staanders, de iPad, iPad mounts en de elektronica behuizing waren allemaal CNC gefreesd uit hout en / of acryl. Elke rechtop werd gepot naar de 26 heldere 1/2 "acryl latten tegemoet te komen.

De oorspronkelijke plannen zijn gemaakt, zonder specificaties voor aanvaardbare toleranties, iPad behuizingen, mounts, bevestigingsmiddelen en montage details, zodat de fabricage tijdlijn werd enigszins organisch van aard. Er waren duizend details die ofwel gemaakt obstakels of mogelijkheden - meestal afhankelijk van hoeveel tijd werd overgelaten aan het festival datum, de eerste (of afwijking) kosten en het risico van het vernietigen van bijna afgewerkte materialen (een aanzienlijke monetaire en tijd risico's - in het bijzonder bij het werken aan de gemeenschap CNC-apparatuur waar de machine de tijd beperkt was). Fabricage werd uitgevoerd bij de San Francisco TechShop .. echt een geweldige plek en een van de partners van het festival.

Stap 10: Final Details en Deployment

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Het samenbrengen van het geheel was hectische - we waren gewoon niet veel tijd meer. Hoewel we het testen op verschillende mijlpalen, zou het publiek bouwen de eerste keer dat alles werd getest in de uiteindelijke configuratie.

De fysieke montage op Market Street verliep vlot. Omdat een groot deel van de installatie is voorgemonteerd, het kostte ons drieën ongeveer twee uur. Tijdens de laatste stappen van het brengen van alles online, het was duidelijk de iPads werden communiceert niet met de server van het MAC. Geen van de code was veranderd, dus er was niet een directe en duidelijke reden voor de mislukking. We hebben een aanzienlijke reeks tests voor het sluiten van de standaard kanaal we gebruikten voor het draadloze netwerk werd overladen met honderden gevestigde signalen afkomstig van de omliggende Market Street bedrijven! Zodra een netwerk is gemaakt met behulp van een ander kanaal, onze communicatie correct functioneerde.

Stap 11: Game Day!

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

De eerste dag van het festival was donderdag - vergelijkbaar met de industrie dag voor beurzen. We waren toestand in het Financial District, waar professionals uit hun kantoren gegoten tijdens de lunch te worden begroet door een aantal pretty cool projecten op straat! Velen die zag The Sound of emotie tijdens de lunch, kwam om meer tijd te besteden aan het einde van hun werkdag. Dat was een geweldige show van belang. Het was zeer bevredigend om al onze inspanningen eindelijk tot wasdom komen te zien!

Stap 12: Community-Based Deelname

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Bij tal van gelegenheden over de driedaagse periode installatie, groepen van volslagen vreemden waren betrokken en verbaal samenwerken om muzikale resultaten te behalen. Chants klonken - "iedereen fronsen - nu smile" "Je gaat verdrietig en ik ga graag ..." Omstanders zouden zelfs klokkenspel in met suggesties!

Het was bijna net zo leuk om te zien en te fotograferen de interactie als het verheugend om de complimenten van hoeveel mensen genoten van de installatie te horen was.

Meer dan een paar van de deelnemers liep weg uitvoeren op gesprekken met hun nieuw gevonden "collega-muzikanten!"

Stap 13: Conclusie

Urban Design - Muziek uit Gezichtsuitdrukkingen - The Sound of Emotion

Hebben we beschouwen het project een succes wordt? Overweldigend ja! Natuurlijk zijn er vele aspecten over de installatie die kunnen worden verfijnd en verbeterd, maar het project ooit bereikte een van de beoogde doelen. In het algemeen is het project was:

  • inclusief
  • transformatieve
  • Samenwerkend
  • Sociaal
  • Dynamisch
  • Context-Specific
  • Geschikt voor het creëren van een "omgeving"
  • gemeenschap gericht

----------

Veel dank aan mijn team voor het doneren van hun expertise en tijd, de YBCA, SF afdeling Planning en sponsors voor hun gedurfde initiatief en onvermoeibare inspanningen, Jason Kelly Johnson van Future Cities Laboratorium voor zijn deskundige begeleiding en alles wat assisteerde bij het project !!

----------

Opmerkingen en vragen zijn van harte welkom!

Advertisement

Related Articles