Mälardalens högskola Akademin för innovation, design och teknik Västerås, Sverige DVA331 - Examensarbete för kandidatexamen i datavetenskap. TAKTILA HJÄLPMEDEL FÖR HÖRSELSKADADE INOM MUSIKEN Sebastian Pettersson Kristoffer Palfi [email protected] [email protected] Examinator: Daniel Hedin Handledare: Rikard Lindell 2017-05-24 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi Sammanfattning I det här arbetet har vi försökt att konstruera en artefakt vars syfte är att ge döva en musikalisk upplevelse i form av vibrationer. Vi har undersökt i vilken utsträckning det går att göra detta på och vi har även testat olika signalbehandlingsalgoritmer för att manipulera ljud, och på så vis se om de blir någon skillnad och vilken som gav den bästa upplevelsen. En undersökning utfördes på döva/hörselskadade personer för att få en överblick om hur och vart de upplever ljud, följt av en utvärdering av artefakten för att se om det gick att urskilja två ljud från varandra. Resultatet blev en artefakt med möjlighet att filtrera ut olika frekvensområden till flera kanaler, vi fick fram att IIR-filtrering var mer effektiv än FFT och genom utvärderingen visade det sig att en manipulerad signal gjorde det lättare att skilja på två olika ljudsignaler baserat på deras vibrationer. Abstract In this work, we have tried to construct an artifact with the purpose to give deaf people a musical experience in the form of vibrations. We have investigated at which lengths this is possible to do so and we have also tried various signal processing algorithms to manipulate sound to see if they give any different results and compared the experience. We did a test on deaf people so we could get an overview on how and where they feel sound and then based on that we did another test with the artifact to see if it was possible to distinguish one sound from the other. The results of the work was an artifact that was capable of filtering an area of frequencys and distribute the manipulated signals to several channels. When we compared the signal processing algorithms we got that the IIR filtering was more effective than FFT and had a better vibration output. The results from the evaluation showed that it was easier to distinguish two filtered signals based on the vibrations. 1 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi Förord Vi vill tacka Disney research som lånade ut sitt stereohaptic-kit till oss. Vi vill även passa på att tacka vår handledare Rikard Lindell som hjälpt oss under arbetets gång samt vår examinator Daniel Hedin, och ett stort tack till Jesper Johansson-Törnsten för lånet av PA utrustningen inför undersökningen. 2 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi Innehållsförteckning 1 Inledning 1.1 Syfte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Frågeställning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Bakgrund 2.1 Ljud . . . . . . . . . . 2.1.1 Frekvens . . . . 2.1.2 Övertoner . . . 2.1.3 Decibel . . . . 2.1.4 Amplitud . . . 2.1.5 Våglängd . . . 2.1.6 Högtalare . . . 2.2 Haptik . . . . . . . . . 2.3 Signalbehandling . . . 2.3.1 Diskreta fourier 2.3.2 Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . transformen & Fast fourier transformen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5 5 5 . 6 . 6 . 7 . 8 . 8 . 8 . 8 . 9 . 9 . 9 . 11 3 Relaterade arbeten 13 4 Metod 15 5 Etik och Samhälleliga aspekter 15 6 Undersökning 1 6.1 Förarbete . . . . . . . . . . 6.2 Uppställning och utrustning 6.3 Genomförande . . . . . . . 6.4 Ljudgrupper . . . . . . . . . 7 Undersökning 2 7.1 JUCE . . . . . . . . . . . 7.2 Gränssnitt . . . . . . . . . 7.3 Programvara . . . . . . . 7.4 Stereohaptics-kit . . . . . 7.5 Undersökning av artefakt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 16 16 17 17 . . . . . 17 17 18 19 21 21 8 Resultat 22 8.1 Undersökning 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 8.2 Undersökning 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 9 Diskussion 9.1 Undersökning 1 . . . . . . . . 9.2 Undersökning 2 . . . . . . . . 9.3 Diskussion - sammanfattning 9.4 Högtalare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 23 24 25 26 10 Slutsatser 27 10.1 Framtida arbete . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi Referenser 28 Bilagor 30 Figurer 1 2 3 4 5 6 7 8 9 10 11 12 Från tidsdomänet till frekvensdomänet Radix-2 DIT FFT . . . . . . . . . . . Butterworthfilter . . . . . . . . . . . . Haptic chair . . . . . . . . . . . . . . . Muss-Bits . . . . . . . . . . . . . . . . Cutaneous grooves . . . . . . . . . . . Undersökning . . . . . . . . . . . . . . Tidigt användargränssnitt . . . . . . . Användargränssnitt . . . . . . . . . . . FFT-algoritmen . . . . . . . . . . . . . Stereohaptic-kit . . . . . . . . . . . . . Högtalare & kretskort . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 11 12 13 14 14 17 18 19 20 21 27 Tabeller 1 2 Resultat från utvärdering . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 Ljudgrupperna som användes till den första undersökningen . . . . . . . . . 30 4 Mälardalens högskola 1 Sebastian Pettersson, Kristoffer Palfi Inledning Musik är en väldigt stor del av många människors liv, och det finns belägg för att den bland annat kan reducera stress samt ha en positiv inverkan på immunförsvaret [1]. Idag lider ca 5% (360 miljoner) av världens befolkning av någon form av hörselnedsättning [2], och för dessa människor, framför allt de som är gravt hörselskadade alternativt helt döva, så är detta ej en naturlig del av livet i alls samma utsträckning som hos en hörande. Ljud är vibrationer, ett faktum som de allra flesta förmodligen aldrig reflekterar över. Det som gör att vi människor kan uppfatta ett ljud är att när vibrationer från en ljudkälla når trumhinnan så sätts den i rörelse, detta resulterar i sin tur att signaler skickas till hjärnan och det är dessa signaler vi tolkar som ljud [3]. Det finns många orsaker till varför vissa människor inte kan uppfatta ljud och det är på grund av detta har vi försökt undersöka möjligheterna för döva att uppleva musik på ett sätt som ska försöka efterlikna det sätt hörande upplever musik på, med hjälp av vibrationer från haptiska högtalare. Under arbetets gång utförde vi en undersökning som skulle agera som ett underlag för resten av arbetet, undersökningen utfördes på döva/hörselskadade personer där de fick beskriva hur och var olika ljud med varierande frekvensstyrka kändes någonstans på kroppen. Efter att vi samlat in data från undersökningen började arbetet med Stereohapticskitet. Kitet ska ta emot en ljudsignal som via programvaran manipulerats på så vis att det blir möjligt att dela upp de olika frekvensområden ljudet består av, för att sedan fördela ut det till kitets högtalare som ska spela upp de manipulerade ljudsignalerna och ge en form av vibrationsupplevelse. 1.1 Syfte Syftet med detta arbete är att med hjälp av signalbehandlingsalgoritmer försöka fördela ut frekvenserna från en ljudkälla till olika högtalare som står i direktkontakt med kroppen, för att se om det går att få döva att uppleva musik på liknande villkor som en hörande kan. 1.2 Frågeställning De frågor som vi ska försöka besvara är följande: • I vilken utsträckning går det att återskapa de förutsättningar som en hörande utövare av musik har, även för en döv? • Vilka digitala signalbehandlingsalgoritmer i kombination med haptisk feedback i form av specialanpassade högtalare ger den bättre musikaliska upplevelsen i form av vibrationer? 2 Bakgrund I detta kapitel kommer vi att introducera och definera de olika kunskaper som ligger till grund för detta arbete. Vi kommer beskriva vad ljud faktiskt är och hur det relaterar till den mänskliga känseln samt de olika metoderna som vi kommer att använda oss av för att manipulera ljudsignaler. 5 Mälardalens högskola 2.1 Sebastian Pettersson, Kristoffer Palfi Ljud Vid en första anblick kan ljud te sig rätt simpelt, det är vad vi uppfattar genom vår hörsel, en formulering som visserligen stämmer, men som definitivt går att expandera. Ljud, eller ljudvågor, uppstår när någon form av objekt vibrerar, och dessa vågor sprids i alla riktningar i rummet för att till slut nå fram till en mottagare, exempelvis en mikrofon eller våra öron. Dessa vågor tillhör kategorin mekaniska vågor, vilket innebär att de behöver ett medium som luft eller vatten för att kunna transporteras (till skillnad från till exempel ljus som kan göra detta i vakuum) [4]. Det vi människor vanligtvis uppfattar som ljud är när dessa vågor sprids via luften och detta sker då i form av lufttrycks-variationer som resulterar i förtunningar och förtätningar av partiklarna i luften, och när dessa når fram till våra trumhinnor så börjar de att vibrera. Vibrationerna omvandlas i sin tur till elektriska signaler som våra hjärnor tolkar som ljud [3]. I sin enklaste form kan ett ljud representeras av en enkel sinuston vilket resulterar i ett ljud som vid framförallt högre frekvenser bäst kan beskrivas som ett obehagligt tjut. Dessa ljud får dock ses som specialfall och är sällan något som uppstår naturligt. Det vi vanligtvis hör när vi pratar med varandra eller lyssnar på ett instrument (akustiska) är sammansättningar av ett stort antal sinustoner som tillsammans bildar ett ljud. 2.1.1 Frekvens Ett ljuds tonhöjd avgörs av dess frekvens, vilket innebär antalet svängningar som sker per sekund [5], och en högre frekvens är ekvivalent med en högre tonhöjd och vice versa. Ett ljuds frekvens betecknas med Hz (hertz) och en period - det vill säga, från nolläge till toppläge, tillbaka till nolläge, vidare till bottenläge och till sist tillbaka till nolläget på en sinuskurva - som tar en sekund har frekvensen 1 Hz, en halv sekund 2 Hz och så vidare. Det hörbara frekvensspektrat brukar vanligtvis delas in i tre olika register: bas (∼16 Hz - ∼256 Hz), mellanregister (∼256 Hz - ∼2 kHz) och diskant (∼2 kHz - ∼16,3 kHz). Den mänskliga hörseln kan uppskattningsvis uppfatta mellan 20 - 20 000 Hz, vilket får anses som en sanning med modifikation då dessa siffror framför allt är applicerbara på ett spädbarn, i och med att alla människor tappar upptagningsförmågan i diskanten ju äldre de blir (och det är inte alls ovanligt att en normalhörande person i övre medelåldern kan ha tappat så mycket som 10 kHz) [6]. Att ha förlorat 10 kHz i det övre registret av sin hörsel innebär dock inte att halva ens egentliga hörsel försvunnit. Tittar man på ljud ur ett fysiskt perspektiv, och med den västerländska harmoniläran som hjälpmedel går detta att tydliggöra relativt enkelt. Toner i musiken brukar grupperas i oktaver, där varje oktav innehåller 12 halvtoner [7] - C, C#, D, D#, E, F, F#, G, G#, A, A#, B - för att sedan börja om från samma ton fast med den dubbla frekvensen. Tonerna inom oktaven stiger hela tiden i frekvens, och sättet dessa frekvenser ökar på har ett tydligt samband, vilket är att för varje ny oktav så höjs frekvensen för en ton till det dubbla. Oktaverna är namngivna på följande sätt, från högsta till lägsta: • Femstrukna oktaven (4186,0 Hz - 7902.2 Hz) • Fyrstrukna oktaven(2093,0 Hz - 3951,0 Hz) • Trestrukna oktaven (1046,5 Hz - 1975,5 Hz) • Tvåstrukna oktaven (523,2 Hz - 987,8 Hz) • Ettstrukna oktaven (261,6 Hz - 493.9 Hz) 6 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi • Lilla oktaven (130,8 Hz - 246,9 Hz) • Stora oktaven (65,41 Hz - 123,5 Hz) • Kontraoktaven (32,70 Hz - 61,74 Hz) • Subkontraoktaven (16,35 Hz - 30,87 Hz) Med utgångspunkt i en flygel som har 88 tangenter går det att åskådliggöra relationen mellan en ton och frekvenserna den genererar. Den lägsta tonen på en flygel med 88 tangenter är tonen A i subkontraoktaven, vilket är den lägsta oktaven som går att spela på flygeln. Detta A har frekvensen 27,50 Hz. Vid nästa förekomst av tonen A, det vill säga, i kontraoktaven så har dess frekvens dubblerats och har nu 55,0 Hz. På samma vis fungerar det sen genom resterande oktaver för samtliga toner, och om man tittar på tonen A så får den följande frekvenser för varje oktav, nedifrån och upp: • Femstrukna oktaven - 7040,0 Hz • Fyrstrukna oktaven - 3520,0 Hz • Trestrukna oktaven - 1760,0 Hz • Tvåstrukna oktaven - 880,0 Hz • Ettstrukna oktaven - 440,0 Hz • Lilla oktaven - 220,0 Hz • Stora oktaven - 110,0 Hz • Kontraoktaven - 55,0 Hz • Subkontraoktaven - 27,5 Hz För att sätta dessa frekvenser i lite perspektiv så är exempelvis den högsta strängen på en gitarr 329,6 Hz och den högsta strängen på en violin 659,2 Hz, “höga C” för manliga sångare vilket anses som den övre gränsen för en tenor är 523,2 Hz och “höga C” för kvinnliga sångare är 1046,4 Hz, den högsta tonen i arian “Nattens Drottning” ett F med frekvensen 1397 Hz. De sex första oktaverna, subkontraoktaven till tvåstrukna oktaven, har alla sitt toninnehåll under 1000 Hz medan den fyrstrukna oktaven sträcker sig över ett spann på ∼2000 Hz. Detta innebär att oktaven efter femstrukna oktaven sträcker sig från 8372 Hz till 16 744 Hz och därför resulterar en hörselnedsättning till ca 10 000 Hz att inte ens en hel oktav försvunnit. Med detta som bakgrund går det utan svårighet att se att trots en halvering av hörselns upptagningsförmåga, rent frekvensmässigt, så kommer skillnaden i vad som faktiskt hörs att vara relativt obetydlig, åtminstone till en viss gräns. 2.1.2 Övertoner Som beskrivits i avsnittet innan så har toner olika frekvens beroende på vilken oktav de ligger i. För att återgå till exemplet med flygeln så består ljudet som hörs när en tangent slås ned av en sammansättning av sinustoner med olika frekvens, och dessa tillsammans 7 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi kallas för tonens deltoner. Den delton med lägst frekvens är tonens grundton och även den som namnger den sammansatta tonen, de övriga tonerna kallas för tonens övertoner [4]. För de flesta instrument, framför allt de akustiska, samt den mänskliga rösten så består övertonerna av jämna multipler av grundtonen och när tonerna i ljudet består av jämna multipler så kallas dessa för harmoniska deltoner. Alternativet till detta är oharmoniska deltoner och innebär att det finns deltoner som kan avvika från detta ursprungliga mönster, men det kan även innebära att intervallen mellan deltonerna skiljer sig markant. Ett exempel på det förstnämnda är ett piano vars övertoner har en viss avvikelse på grund ut av styvheten i strängarna, och ett exempel på det sistnämnda är olika typer av slagverk. Dessa övertoner sträcker sig långt över vad vi som människor kan höra och de olika tonerna klingar med olika amplitud. Det är kombinationen av hur dessa deltoner samspelar som ger ljudet sin karaktär, eller uttryckt ur ett musikaliskt perspektiv, dess klangfärg. Det är klangfärgen som är anledningen till att det går att höra att till exempel ett piano låter som just ett piano och inte en gitarr. 2.1.3 Decibel Ljudtryck mäts i pascal (P a) - newton per kvadratmeter (N/m2 ) - men då dels uppmätta ljudtrycks-nivåer tyvärr inte överensstämmer speciellt bra med hur starkt olika ljud upplevs i förhållande till varandra och dels får en ojämn fördelning när de uttrycks på en linjär skala så har man enats om att istället uttrycka nivåskillnader i ljudtryck logaritmiskt [8]. Detta görs i form av “bel” (efter Alexander Graham Bell) och bel är enheten för logaritmiska ljudtrycks-nivåer i förhållande till en angiven referensnivå. Ursprungligen beskrevs "1 bel" som en ökning/minskning av ljudtrycks-nivån som upplevs motsvara en ungefärlig fördubbling/halvering, men i själva verket så ligger 0,6 bel närmre denna beskrivning, eller som det vanligtvis skrivs, 6 decibel (dB). 2.1.4 Amplitud Amplitud innebär avståndet ifrån nolläget till ett av ytterlägen i en svängning, såsom en vågform. När vågformen, som i fallet för detta arbete, representerar ett ljud så innebär det att amplituden motsvarar kurvans ljudtryck vid en given punkt [4]. 2.1.5 Våglängd Ljudets hastighet beror på vilket medium det transporteras genom. I luft så är den ungefärliga hastigheten för ljud 340 m/s [9]. En period beskrivs som en fullbordad sinuskurva från nolläge tillbaka till nolläge. Våglängden är den fysiska längden av en period, och fås genom att dividera ljudets hastighet med frekvensen. Precis som med frekvensen där en låg frekvens är ekvivalent med en låg tonhöjd så gäller detsamma för våglängden, en längre våglängd är ekvivalent med en lägre frekvens och vice versa. 2.1.6 Högtalare Högtalare är omvandlare av elektrisk till akustisk energi. Elektrodynamiska högtalarelement är den vanligast förekommande varianten och är den sort som sitter i vanliga stereoanläggningar, bilar och PA-högtalare. Dessa element består av en spole som rör sig i magnetfält och i spolen fästs någon form av membran. När en ström går igenom spolen kommer denna att röra sig proportionellt mot styrkan på den ström som skickas in. Spolens rörelse kommer således även att sätta membranet i rörelse, fram och tillbaka, vilket resulterar i att ljudvågor uppstår. Ett oundvikligt problem som uppstår med högtalare är att 8 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi majoriteten av den energi som tillförs omvandlas till värme och det som faktiskt blir till ljud består vanligtvis bara av mindre än 1% av den ursprungliga energin [10]. 2.2 Haptik Haptik kan ses som ett samlingsbegrepp för saker som relaterar till känseln och känselsinnet. Ett område där det läggs mycket tid på forskning inom haptik är Virtual Reality(VR), där målet är att ge användarna möjligheten att när de känner på animerade objekt eller material inuti den rendrerade miljön få en haptisk feedback som resulterar i att det känns som objekten faktiskt vidrörs. Den här typen av haptisk feedback kan ske på ett flertal sätt: FlexiFingers är ett exoskelett av passiva komponenter för händerna [11] och Haptic Duplicator [12] är en annan typ av handbaserad prototyp som tillåter användaren att uppleva olika texturer på objekt i VR. Det intressanta med Haptic Duplicator ur perspektivet för detta examensarbete är att den använder sig av taktil stimulans via ljud. Detta sker genom ett kit bestående av små taktila högtalare som får sina vibrationer via en spole, slående lika de som kommer användas i detta arbete, och där en spole placeras vid varje finger för att ge en så realistisk taktil återkoppling som möjligt. Material skannas med hjälp av en mikrofon och appliceras sedan på rendrerade objekt i form av dess textur. Perceptionen i den mänskliga huden sträcker sig vanligtvis till ca 1000 Hz, vilket motsvarar grundtonerna för de fem första oktaverna. Detta medför att en stor del av vad som ger ett ljud sin karaktär går förlorat när det endast är känseln som ansvarar för att tolka ett ljud. 2.3 Signalbehandling Digital signalbehandling är ett matematiskt sätt att representera och manipulera signaler, där signalerna är representerade som diskreta värden ifrån en kontinuerlig funktion som ligger i något domän, t.ex. tids- eller frekvensdomänet. Det är med hjälp av en signalbehandlingsalgoritm som vi kan plocka ut frekvenser från ett ljud för att möjliggöra en fördelning av olika frekvensområden mellan högtalarna. De metoder vi kommer att använda oss av för att göra detta är Fast fourier transformen och IIR-filter som beskrivs nedan. 2.3.1 Diskreta fourier transformen & Fast fourier transformen Den diskreta fouriertransformen (DFT) kan användas till att analysera signaler, t.ex. ljud, för att ta reda på vilka frekvenser den innehåller. Den tar emot diskreta värden från en kontinuerlig signal som ligger i tidsdomänet (amplitud och tid) och transformerar den till komplexa tal inom frekvensdomänet (amplitud och frekvens) [13]. DFT är definerad i Definition 2.1. Definition 2.1. Diskret fouriertransform X[k] = N −1 X x(n) · WNkn , k = 0, 1, ..., N − 1 (1) n=0 2π där WN = e−i N är den N:te enhetsroten vanligtvis kallad twiddlefaktorn [14]. X[k] är ett frekvensfack som innehåller ett visst frekvensomfång, för att få ut storleken på facket tar vi: samplingsfrekvensen Frekvensfack = N där samplingsfrekvenser fs är hur många värden vi plockar ut i sekunden. Vi kan se en applicering av DFT i figur 1 där vi har en signal bestående av tre sinusvågor, en 9 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi samplingsfrekvens på 10 000 och N = 1000. I detta fall kommer frekvensfacket att ha ett omfång på 10Hz, så X[0] kommer att innehålla frekvenserna från 0-10 Hz och ser vi i frekvensdomänet får vi då ut att signalen innehåller frekvenser på 500, 1000 och 2000 Hz, samt dess amplitud (då frekvensen är 500 är amplituden 1). Men vi kan se i definition 2.1 att för varje frekvensfack k vi letar efter måste vi gå igenom alla N punkter vilket medför att vi får en komplexitet på O(N 2 ). Denna metod är inte optimal för större indata, i figur 1 kommer då 10002 = 1 · 106 = 1 000 000 beräkningar att göras och vi kommer då behöva ett bättre sätt att utföra beräkningarna. En sak som är värt att notera i frekvensdomänet är att grafen bara går upp till 5000 Hz, det vill säga, fs /2 och detta beror på Nykvistkriteriet som säger att vi behöver dubbla samplingsfrekvensen för att rekonstruera signalen på 5000 Hz [15]. Det finns även en invers till DFT som fungerar på ungefär samma sätt fast den går från frekvensdomänet till tidsdomänet. Figur. 1: Den övre grafen visar en sinusvåg i tidsdomänet, den undre grafen visar resultatet av sinusvågen i frekvensdomänet när vi har använt DFT på den. I det tidigare exemplet använde vi oss av Fast fouriertransformen (FFT) för att kunna dra ner på det antal beräkningarna som krävs, den använder sig av DFT fast på ett mer effektivt sätt där resultatet blir identiskt, komplexiteten för FFT är O(N log2 N ) istället för O(N 2 ) som i fallet för DFT. Det vill säga att vi behöver göra 1000log2 1000 ≈ 132877 beräkningar istället för 1000000. FFT-algoritmen utveckaldes av J.W. Cooley och John Tukey under sextiotalet [16] och den har haft en stor betydelse inom signalbehandling. FFT är en "divide and conquer" algoritm, vilket innebär att den bryter ner den diskreta fouriertransformen till mindre delar för att sedan bygga ihop den och på så sätt kunna minska antalet beräkningar. Den vanligaste implementationen av en Cooley-Tukey FFT-algoritm är radix-2 decimationin-time (DIT). Genom att ta emot en array av storlek N med de utplockade värdena från signalen, delar den då in transformen i två. Som vi kan se i ekvation 2 har den delat 1 gång 10 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi och låter den högra termen ta hand om de jämna indexen i arrayen (2r = x0 , x2 , ...xN −2 ) och den vänstra termen de ojämna indexen (2r + 1 = x1 , x3 , ..., xN −1 ). Sedan fortsätter den på samma vis tills vi får N stycken DFT:s av storleken 1. Det tar log2 N steg för algoritmen att dela upp transformen i N stycken termer. N/2−1 X[k] = X N/2−1 x(2r) · WN2kr + r=0 = X k(2r+1) x(2r + 1) · WN r=0 N/2−1 N/2−1 X X x(2r) · WN2kr + WNk r=0 (2) x(2r + 1) · WN2kr r=0 När vi sedan ska bygga ihop funktionen igen blir det möjligt att återanvända tidigare beräkningar, om vi ser i figur 2 är det en transform med storleken N = 8 som visar hur alla operationer hör ihop med varandra och vi kan se vilka beräkningar som behövs för ett frekvensfack X[n]. Det blir då möjligt att återanvända beräkningar vilket minskar komplexiteten till O(N log2 N ). Om vi tittar närmre på den översta operationen x(0) + x(4) ∗ WN0 i steg 1 kan vi se att, om vi följer pilarna, blir det den beräkningen som kommer att användas till frekvensfacken: X[0], X[2] och X[6]. Resultatet blir att den gör 8log2 8 = 24 beräkningar istället för 64 som i den vanliga DFT:n. Figur. 2: Ett flödesdiagram av en radix-2 DIT FFT som visar hur de olika operationerna kan återanvändas. 2.3.2 Filter Filter är en annan metod inom signalbehandling. Det används huvudsakligen på två sätt, antingen för att separera olika delar i signaler, som till exempel i vårt fall då vi ska plocka ut frekvensområden, eller så kan det användas till att återställa en signal som blivit korrupt på något sätt. Det filter som ligger i fokus under denna rapport är av typen IIR, (Infinite impulse response) [13]. Det är ett rekursivt filter som använder sig av tidigare beräknade värden från utsignalen tillsammans med värden från insignalen för att beräkna det efterkommande värdet i utsignalen. IIR-filter byggs oftast som en differentialekvation 11 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi som definierar hur utsignalen relateras till insignalen: N X y[k] = bj x[k − j] − M X ap y[k − p] (3) p=1 j=0 där bj och ap är de rekursiva koefficienterna som definierar filtrets karaktär (olika filter som använder olika matematiska operationer) och där y[k] är utsignalen och x[k] är insignalen vid tidpunkten k. Vanligtvis använder man inte mer än ett dussin rekursiva koefficienterna då filtret blir ostabilt på grund av att utsignalen kommer kontinuerligt att växa eller oscillera. Om vi skriver om ekvationen ovan till: M X ap y[k − p] = p=0 N X bj x[k − j] (4) j=0 kan vi sedan göra om det till en överföringsfunktion, genom att använda sig av Z-transformen: M X ap z −p Y (z) = p=0 N X bj z −j X(z) (5) j=0 H(z) = = Y (z) X(z) PN −j j=0 bj z PM −p p=0 ap z (6) H(z) är nu överföringsfunktionen som ligger i frekvensdomänet och vi har att z = Aeiθ där A är magnituden av z och θ är argumentet. Vi har nu hamnat i ett liknande läge som i FFT där z är lik twiddlefaktorn, fast förutom att plocka ut frekvenser kommer de rekursiva koefficienterna att bestämma hur signalen kommer att manipuleras i frekvensdomänet. Detta kan till exempel vara att dra ner magnituden till noll efter en viss punkt och så pass skapa ett lågpassfilter, då kommer man skicka in en abrytande frekvens och runt den kommer frekvenserna bli avtagande som vi kan se i figur 3. Figur. 3: Ett Butterworthfilter med en abrytande frekvens, vi kan se att frekvenserna börjar avta innan den avbrytande punkten och fortsätter sedan ner till 0. [17] 12 Mälardalens högskola 3 Sebastian Pettersson, Kristoffer Palfi Relaterade arbeten Det finns ett flertal projekt inom området för detta arbete, vi har dock inte kunnat hitta något som haft fokus på de punkter som vi intresserat oss för. De arbeten vi tittat närmre på har alla delar som överlappar med det vi försökt att undersöka men har haft andra utgångspunkter och målsättningar än vi. “The haptic chair” är ett hjälpverktyg som ska förhöja den musikaliska upplevelsen hos döva med hjälp av vibrationer i kombination med visuell stimulans. Konstruktionen består av en fåtölj med diverse kontakt-högtalare, som skapar vibrationer i det medium de fästs vid. Detta resulterar i att “the haptic chair” kommer ge ifrån sig vibrationer baserade på en ljudsignal, och man kan på så sätt känna musiken i form av vibrationer från stolen [18]. I anslutning till stolen finns även en datorskärm vars uppgift är att visualisera dem ljud som spelas upp. Användningen av detta verktyg kan tydligt ses begränsas till en fast punkt, på så vis att man behöver sitta i stolen för att kunna nyttja dess funktionalitet. I och med att arbetet är en kombination av haptik och det visuella så ter sig den här lösningen som optimal då intryck kommer från flera håll. Och då den visuella stimulansen sker via en mindre skärm så blir det viktigt att dessa två går att utnyttja samtidigt, vilket leder till att användandet blir relativt statiskt. Att använda sig av ett flertal högtalare med olika egenskaper (fyra i det här fallet) möjliggör för en större del av kroppen att uppta ljud vilket kan ge en mer komplett och högupplöst upplevelse. I och med att högtalarna är monterade i stolen så kommer alla vibrationer bakifrån/underifrån, och baserat på vår efterforskning så är bröst/mage men även framsida lår de delar på kroppen där majoriteten av vibrationerna upptas. Vill man därför försöka förstärka dessa så kan det te sig märkligt att inte göra det vid dessa platser. Sett ur en annan synvinkel så klarar redan dessa delar av kroppen att uppfatta ljud relativt bra (i förhållande till många andra delar av kroppen) och skulle därför kunna ge en mer jämn fördelning i hela kroppen, detta beror dock på vad den ursprungliga ljudkällan är och hur starkt den spelar. Figur. 4: Haptic chair Ett annat taktilt hjälpmedel för att hjälpa döva och hörselskadade att uppfatta ljud i form av vibrationer är MuSS-Bits. MuSS-Bits består av en mindre taktil enhet som kan fästas någonstans på kroppen och erbjuder hjälp i form av både vibrationer och visuellt genom en LED belysning. Vibrationerna produceras av en ERM-motor med en maxfrekvens kring 300 Hz [19]. Det tänkta användningsområdet för MuSS-Bits är vid in13 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi lärning alternativt utövandet av ett instrument, och den vibrerande enheten i kombination med LED belysningen ska hjälpa den som spelar att få en bättre känsla för dels vad det är som spelas men även underlätta när det kommer till timing i det som spelas. De begränsningar vi kan se i detta tillvägagångssätt är dels det väldigt begränsade frekvensområde som en ERM-motor kan återge, men även det faktum att musik är något som känns i hela kroppen och inte bara vid en enstaka punkt. Detta verktyg är dock bara 5x5 cm stort vilket tillåter stor flexibilitet och möjlighet till justering gällande var nånstans man vill att vibrationerna ska kännas. Figur. 5: Muss-bits En variant som i viss utsträckning kombinerar de tidigare två metoderna är Cutaneous grooves, en dräkt konstruerad av Gunther och O’Modhrain [20]. Dräkten består av 10 spol-baserade vibrationsmotorer samt en större transduktor för att hantera basregistret. Dessa taktila hjälpmedel har sedan placerats på kroppen vid punkter som ska ha en högre känslighet för vibrationerna. Syftet har i det här fallet varit av mer artistisk karaktär och även om en tillämpning för döva nämns i förbifarten så är det i första hand inte den tilltänkta målgruppen. Motorerna i dräkten jobbar i ett frekvensområde som sträcker sig upp mot 1000 Hz och specialkomponerade stycken skrevs direkt mot dräktens funktionalitet och det frekvensomfång den klarade av att återge. Figur. 6: Cutaneous grooves Det vi vill undersöka, och i slutändan åstadkomma, skulle delvis kunna ses som en kombination av vissa delar från vart och ett av dessa arbeten. Vi eftersöker den flexibilitet som kan ses i MuSS-Bits för att möjliggöra för den som nyttjar verktyget att kunna röra sig fritt samtidigt som den spelar eller lyssnar på musiken, samtidigt anser vi att ett större antal vibrationskällor behövs för att dels förhöja upplevelsen men även möjliggöra för en fördelning av frekvenser till platser på kroppen som är mer mottaglig för olika tonhöjder, vilket påminner mer om konstruktionen av the haptic chair och Cutaneous grooves. 14 Mälardalens högskola 4 Sebastian Pettersson, Kristoffer Palfi Metod Vårt arbete är uppdelat i två undersökningar; den första undersökning för att erhålla en överblick om hur ljudvibrationer känns på kroppen, detta i syfte för att delvis svara på den första frågeställningen. Det vill säga, kan vi veta vart ljuden med olika frekvens och styrka känns på kroppen kommer vi därefter att kunna se om det går att förhöja och förtydliga dessa med hjälp av högtalar-kitet. Undersökningen utfördes på testpersoner där vi spelade upp höga ljud för dem och de fick därefter beskriva hur och var ljuden kändes på kroppen. Den andra undersökningen var att testa högtalar-kitets kapacitet vad gäller att förtydliga de olika ljud som spelas, där även den är indelad i två delar, programvara och hårdvara Vi började med att skapa ett användargränssnitt för att på ett lätt sätt kunna ta in ljudet som ska manipuleras. Då vi jobbade i C/C++ och det inte har något inbyggt stöd för att hantera ljud så använde vi oss av C++ plattformen JUCE1 , som är skriven för att skapa ljudrelaterade applikationer. Sedan fortsatte vi med att implementera FFTalgoritmen som ska låta oss kapa av frekvenser vid en viss gräns för att sedan hitta ett bra sätt att fördela dessa mellan högtalarna. Vi använde oss även av JUCE inbyggda IIR baserade låg- och högpass filter för att jämföra huruvida det blir någon skillnad av att filtrera frekvenserna rakt av via FFT, eller om det är bättre att använda sig av filter som istället har en mjukare kurva och avtar långsammare vid den bestämda frekvensen. När programvaran sedan var färdig började vi arbeta med högtalar-kitet och undersöka hur detta bäst kunde tillämpas och kombineras med programvaran. Ljudet skickas genom användargränssnittet där det är möjligt att manipulera och fördela det mellan högtalarna och få ut olika vibrationsupplevelser. En utvärdering utfördes sedan för att testa de både algoritmerna för att få svar på den andra frågan i frågeställningen samt se om det var möjligt att få fram någon form av musikalisk upplevelse för få ett fullständigt svar till den första frågeställningen. 5 Etik och Samhälleliga aspekter Då detta arbete involverat interaktion med människor så har det även funnits en potential för både kulturella och språkliga skillnader, framför allt vid den första undersökningen som gjordes på uteslutande döva/hörselskadade personer. Stor vikt lades därför på att ha en tydlig kommunikation för att undvika tvetydigheter som kan uppstå. Extra åtanke togs vid konstruerandet av dem inledande undersökningarna för att minimera risken för att någon skulle känna sig kränkt eller diskriminerad. Studiens deltagare informerades i förväg om studiens syfte och vad deras roll i detta var. Det kommer ej att ske någon form av sammanställning eller lagring av känslig information om deltagarna. Undersökningen skedde i två steg, dels i form av en enkät gällande deltagarens relation till musik för att ge underlag till resterande del av arbetet, och dels via momentet som ska undersöka hur deltagarna uppfattar och tolkar olika ljud. Det är endast dessa två moment som är i fokus, personlig information är därför ej av intresse för denna studie. Den information som kommer sparas ur dessa moment kommer ske anonymt och endast innefatta de svar som getts på enkäten och undersökningens frågor. Deltagandet var frivilligt och var och en hade rätt att avbryta sitt deltagande när den så ville. Detsamma gäller för utvärderingen av programvaran och Stereohaptics-kitet som även de involverade personer för att kunna utvärdera. I detta fall bestod försöksgruppen av uteslutande hörande personer, vilket i viss mån underlättade för kommunikationen, men som dock fortfarande krävde stor tydlighet 1 https://www.juce.com/ 15 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi i vad som eftersöktes då exempelvis vissa begrepp som används inte nödvändigtvis är så lätta att relatera till. 6 Undersökning 1 I följande kapitel kommer vi att berätta om den inledande undersökningen, från hur den ställdes upp till hur den genomfördes. Vi genomförde den på två personer, den ena var helt döv och den andra gravt hörselskadad, studien tog ungefär en timme och fyrtio minuter att utföra. 6.1 Förarbete Inledningsvis tog vi fram en ljudbank bestående av 84 stycken ljudinspelningar där ljudkällan var ett, alternativt en kombination, av följande instrument: Gitarr, piano, el-bas trumset. Av dessa valde vi ut 27 ljud som varierar i frekvens för att få en sådan bred undersökning som möjligt. För att hålla en röd tråd genom undersökningen så grupperades de olika inspelningarna baserat på framförallt tonhöjd alternativt instrument. En gruppering bestod exempelvis av samtliga (melodibaserade) instrument, både individuellt och som kombinationer, där alla spelade samma ton eller ackord, för att kunna få en bild av hur dessa uppfattades på/i kroppen. Andra grupper bestod av samma instrument som spelade olika toner för att kunna jämföra om det gick att urskilja olika tonhöjder. En powerpoint gjordes där samtliga ljud fanns representerade och dess syfte var framförallt att förtydliga vilket ljud som spelades upp för att inte skapa missförstånd när svaren fylldes i. Därefter sammanställde vi även en enkät med tio frågor som handlade om deltagarnas tidigare upplevelser av musik, och om musik är något som har saknats i deras liv. De fick även välja fem olika alternativ om vad de tyckte skulle vara den bästa konstruktionen för att uppleva ljud. 6.2 Uppställning och utrustning Eftersom undersökningen utfördes på döva personer var det en nödvändighet att kunna spela upp ljuden med ett starkt ljudtryck för att det skulle vara möjligt för deltagarna att uppfatta vibrationerna. Ett tomt vandrarhem stod till vår förfogande och utrustningen riggades upp i ett av dess rum. Två stycken 500 watts aktiva PA högtalare med 12" membran användes för uppspelningen och dessa kontrollerades via ett mixerbord för att kunna justera ljudnivåerna. Mixerbordet var sedan kopplat till en laptop där vi valde ljuden som skulle spelas. 16 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi Figur. 7: Mixerbordet med högtalarna i bakgrunden 6.3 Genomförande De båda deltagarna placerades centralt, ca 1.5 meter ifrån högtalarna och med tv:n framför dem, och informerades därefter om undersökningens upplägg. Efter detta fick de svara på enkäten om deras syn på musik för att sedan inleda den faktiska undersökningen. Ljuden spelades upp ett och ett i ordning, baserat på hur dess ljudgrupp såg ut. Då många av ljuden var relativt korta erbjöds deltagarna att få dem uppspelade så många gånger som de ansåg behövdes för att kunna bilda sig en uppfattning och komma med konkreta svar. Efter att en ljudgrupp spelats klart fick deltagarna fylla i det tillhörande häftet med frågor gällande deras uppfattning av de uppspelade ljuden. Möjlighet fanns även att mer utförligt beskriva ljuden om det så önskades. Detta upprepades sedan genom varje ljudgrupp till undersökningen var klar. 6.4 Ljudgrupper I Bilaga A har vi lagt in alla grupper med ljud i en tabell, i en grupp visas vilka instrument det var som spelades, vilka toner/ackord och vilken frekvens varje ton. I bilagan förklarar vi även grupperna mer noggrant och syftet med varje grupp. 7 Undersökning 2 I det här kapitlet beskriver vi arbetet med artefakten och hur undersökningen av den gick till. 7.1 JUCE Vi insåg tidigt i arbetet att det skulle ta alldeles för lång tid att skriva algoritmerna från grunden och sedan tillämpa dem till vårt ändamål och eftersom vi valt att jobba i C++, som saknar inbyggd funktionalitet för direkt hantering av ljud, bestämde vi oss för att leta efter ett externt bibliotek som skulle passa. Vi hittade JUCE, en plattform som hanterar ljud och grafik och är skriven för C++ av Julian Storer. Plattformen började utvecklas 2001 och har varit öppen programvara sedan 2003, dock behövs speciell licens köpas om programvaran som skrivs är tänkt för kommersiellt ändamål2 . JUCE har inbyggda funktioner för hantering av både FFT och olika typer av filter samt all annan hantering av ljud 2 https://juce.com/history-and-development 17 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi som kan tänkas behövas för detta arbete. Eftersom JUCE är utvecklat för att kunna skapa färdiga ljudapplikationer så innehåller det även en stor mängd funktionalitet för hantering av grafiska användargränssnitt. 7.2 Gränssnitt JUCE gav oss möjligheten till att skapa ett användargränssnitt, vilket vi valde att göra för att lättare kunna hantera ljudfiler och tillämpa algoritmerna. Vi började med att göra en större version där det var tänkt att det skulle finnas möjlighet att visa hur det ursprungliga och manipulerade ljuden såg ut rent grafiskt för att på så vis ge en mer överskådlig bild över hur processeringen påverkar ljudet. Den hade flera flikar där vi skulle implementera de funktionaliteter vi troddes behöva, men efter arbetes gång insåg vi att detta var överflödigt och bestämde oss för att skala ner användargränssnittet till en mindre design där bara det nödvändigaste fanns med. Figur. 8: Första designen av användargränssnittet Gränssnittet blev tillslut en enklare design som vi kan se i figur 9, den är framförallt anpassad för att kunna genomföra utvärderingen så smidigt som möjligt. Det användaren möts av när programmet startar är en ruta med all funktionalitet synlig från början. Genom att klicka på ”Open” går det att ladda in tre ljudfiler, som för tillfället är begränsat till ”.WAV”-filer. Sedan finns det möjlighet att spela, stoppa och loopa en ljudfil i taget om man så önskar. Eftersom vi blev begränsade till att bara använda två högtalare till ljudet har vi lagt in ett varsitt reglage där frekvensområdena ska bestämmas samt två volymreglar, en till varje högtalare. Till sist finns det två alternativ att välja för att manipulera ljudet på, med hjälp av FFT-algoritmen eller med ett IIR-filter (dessa kommer att beskrivas mer detaljerat i sektion 7.2), där det även finns möjlighet till att välja ett förinställt alternativ. 18 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi Figur. 9: Användargränssnitt 7.3 Programvara När programmet tar emot ett ljud börjar den med att kontrollera hur många kanaler det finns som den ska skicka ut ljudet igenom, en kanal i detta fall är en högtalare. För varje kanal skapas sedan en buffert med 512 element, alla buffertar fylls på med samma flytvärden från en del av ljudsignalen. Fortsättningsvis så itererar den genom alla kanaler där den kan manipulera signalen med hjälp av antingen FFT-algoritmen eller JUCE’s inbyggda högpass/lågpassfilter, hur dessa delar fungerar beskrivs nedan. När flyttalen har manipulerats på önskat vis skickar vi sedan ut buffertarna i rätt kanal så vibrationer känns. Slutligen fyller den på med de 512 nästkommande flyttal. Programmet har en samplingsfrekvens på 44100 Hz så den kommer alltså att ta in flyttal med en hastighet på 44100 värden i sekunden. FFT-manipulation FFT-algoritmen fungerar genom att först kopiera in bufferten i en ny array som har dubbla storleken, d.v.s. 1024 element på grund av att algoritmen kommer göra om alla värden till komplexa tal. Sedan skickas arrayen in i algoritmen där den nu hamnar i frekvensdomänet med frekvensfack på ca 43 Hz. 19 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi Frekvensfack = Samplingsfrekvensen (44100) Storlek på array (1024) När den väl är i frekvendomänet läser den av dem värden från gränssnittet där den ska kapa frekvenser vid, får den till exempel in att den ska kapa vid 500 Hz och uppåt letar den efter rätt frekvensfack med hjälp av: Frekvens Frekvensfack Eftersom arrayen innehåller komplexa tal måste den hoppa varannat tal då det reella talet efterföljs av sitt tillhörande imaginära tal och de tillsammans representerar ett frekvensfack. Därefter nollar den alla värden som ligger i arrayen från indexet och uppåt, samma sak gör den om den ska filtrera allt som ligger under en viss frekvens. Slutligen använder den inversen av FFT-algoritmen och kopierar in den i sin rätta buffert som sedan skickas ut till rätt kanal. Index att filtrera vid = Figur. 10: Ett exempel som stegvis förklarar hur FFT tar emot från bufferten och skickar sedan ut i en kanal. 20 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi IIR-filter JUCE’s inbyggda lågpass/högpassfilter kan användas direkt på bufferten. Programmet tar emot de värden från reglagen där användaren önskar att filtrera frekvenserna, sedan kommer den att använda lågpassfiltret på det övre reglaget så den får kvar frekvenser från 0 upp till valt värde. Detsamma gäller för högpassfiltret fast med det undre reglaget. Resultatet blir att vi får ut det frekvenserområde som ligger mellan reglagen. 7.4 Stereohaptics-kit För att kunna undersöka hur olika vibrationer uppfattas mot kroppen har vi fått använda ett Stereohaptics-kit från Disney Research [21]. Kitet består av två stycken högtalare samt en förstärkare till dessa. Kitets högtalare påminner om vanliga elektrodynamiska högtalare, men med viss modifikation. Först och främst är storleken på högtalarna endast 3x3cm, och kan därför rymmas i handen. Vidare så är den karaktäristiska konen avlägsnad, vilket resulterar i att högtalarna kan komma närmre huden än vad en normal högtalare är kapabel till. (a) Högtalare (b) Högtalare och förstärkare Figur. 11: Stereohaptic-kit från Disney research 7.5 Undersökning av artefakt Det som följer här är en förklaring av hur vi utvärderade Stereohaptics-kitet och programvara i form av en undersökning. För att utvärdera vår programvara i kombination med Stereohaptics-kitet ställde vi upp en ny undersökning. Målet var att undersöka hur pass väl det gick att känna skillnad på olika ljudkällor och tonhöjder beroende på hur programvara manipulerade ljudet. Undersökningen genomfördes den här gången på en grupp bestående av enbart hörande. Deltagarna informerades först om upplägget för undersökningen, och fick sedan sätta på sig ett par hörlurar som spelade upp "brunt brus". Hörlurarnas funktion var att stänga ute eventuellt ljudläckage som kom från högtalarna så att undersökningen ej skulle påverkas av att deltagarna kunde höra vad det var för ljud som spelades upp. Undersökningen fortsatte sedan som följer: ett ljud spelades upp två gånger, först via FFT-filtrering och sedan med ett IIR-filter, varpå deltagarna fick svara på vilken av dessa varianter de helst ville genomföra resten av undersökningen med. Efter detta inledande val påbörjades den egentliga undersökningen. Deltagarna fick besvara totalt 12 frågor baserade kring sex stycken jämförelser av ljud, genomförda två gånger, dels helt ofiltrerat och dels där den ena högtalaren endast spelade upp frekvenser mellan 20-500Hz och den andra spelade upp frekvenser från 500Hz och uppåt. För att genomföra jämförelsen spelades först ett ljud upp som referensljud. Efter det spelades ytterligare två ljud upp i slumpvald ordning, det ena ljudet var samma som referensen, medan det andra ljudet skiljde sig från det. Deltagarna 21 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi fick efter att ljuden spelats upp säga vilket av ljud två eller tre som de trodde var samma som referensljudet. detta genomfördes två gånger för varje grupp av ljud, först ofiltrerat och sedan med filter pålagt, för att jämföra om det ena erbjöd bättre möjlighet att skilja dem åt än det andra. • Test 1: El-bas, tonerna E och A • Test 2: Trumset, baskagge och virveltrumma • Test 3: Gitarr, C-dur ackord och C-moll ackord • Test 4: El-bas och gitarr, tonen G och G-dur ackord • Test 5: El-bas, skala, F och A • Test 6: Piano och gitarr, C-moll ackord 8 Resultat Nedan presenterar vi resultaten vi har fått ut från de olika delmomenten i arbetet. Vi börjar med resultatet från undersökning 1 och berättar om hur och var dem olika ljuden för varje grupp kändes, därefter följer resultatet från undersökningen av artefakten. 8.1 Undersökning 1 • Grupp 1: Responsen blev att det framför allt var bålen som uppfattade dessa toner, och då främst bröstkorg samt övre delen av ryggen, men även låren till viss del. Tyvärr var det ingen av deltagarna som besvarade frågan gällande om de olika tonerna gick att särskilja. • Grupp 2: Deltagarna kände främst av ljuden kring bröst och mage, men även i lår och axlar. Det finns även indikationer som pekar på att de olika ljuden kändes olika även om det skulle behöva undersökas närmre för att fastslå att detta stämmer. Det som leder till dessa slutsatser är svar så som, "ljud 5 - lite tungt", "ljud 7 - vass bas", "ljud 6 & 7 -...lite hård ton". • Grupp 3: Den ena deltagare uppfattade bägge ljuden över hela bålen, medan den andra deltagaren kände av det första ljudet främst kring mage och ländryggen och det andra i bröst och lår. Det första ljudet, durackordet, beskrevs som mer avslappnande, och det andra ljudet som var ett moll ackord beskrevs som att det inledningsvis gick att känna av mer svängningar i ljudet för att sedan mattas av och efterlikna det första. • Grupp 4: Det första ljudet som spelades upp, dissonansen, var det som upplevdes som "skönast", vilket är intressant då det för hörande snarare skulle vara tvärtom då ett rent intervall upplevs som mer behagligt att lyssna på. En anledning till detta torde kunna bero på att en dissonans mellan två ljud skapar större svängningar än vad ett rent intervall gör och resulterar därför i starkare vibrationer, och då vibrationerna är det enda som deltagarna upplever så leder dissonansen till vad som tycks vara ett behagligare resultat. • Grupp 5: Svaren på denna ljudgrupp var en aning vaga och det var främst var på kroppen ljuden kändes som besvarades, vilket var till huvudsak kring mage och lår, men delvis även bröst och axlar. 22 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi • Grupp 6: Ur svaren gick det att utläsa att den första skalan främst kändes från ben upp till mage, och den andra skalan från mage upp mot halsen. Den ena deltagaren svarade även att de båda skalorna kändes som att de spelade på ungefär samma sätt, det framgår dock inte om det som avses är tonhöjden eller timingen. • Grupp 7: Deltagarna svarade att dem fyra första ljuden kändes mest i och kring magen medan de två efterkommande ljuden ej gick att detektera. Resultatet av trumpkompen blev att ingen märkbar skillnad uppfattades och att bägge trumkompen framför allt kändes i området kring magen. Med det sista ljudet svarade deltagarna att ljudet kändes i nästan hela kroppen, ett svar som känns rimligt då ett väldigt stort frekvensomfång täcktes in när samtliga instrument ingick. 8.2 Undersökning 2 Totalt sex personer i ålderspannet 23-64 år deltog i utvärderingen, samtliga med normal hörsel. Fem stycken föredrog IIR-filtreringen framför FFT varianten. För de ofiltrerade ljuden låg snittet för antalet rätt svar på 61% hos deltagarna medan det för filtrerade ljud låg på 74,7%, mer exakta värden går att se i tabell 1. Genomförandet av undersökningen tog ca 30 minuter per deltagare. Sett till den statistiken som går att utläsa ur utvärderingen så pekar den på att en filtrering av ljuden leder till en bättre uppfattning om hur dessa skiljer sig åt. Ljud: Test 1 Test 2 Test 3 Test 4 Test 5 Test 6 Ofiltrerat 66,7% 66,7% 50% 66,7% 50% 66,7% Filtrerat 83,3% 83,3% 100% 83,3% 16,7% 83,3% Tabell 1: Antalet rätta svar i procent av utvärderingen 9 9.1 Diskussion Undersökning 1 Det som går att utläsa ur resultaten för undersökningen är att det går att se vissa likheter hos deltagarna mellan vilket ljud som spelas och var på kroppen det ljudet har störst inverkan. Det huvudsakliga området där deltagarna upplevde att ljudet kändes är kring bröstkorg och mage samt övre halvan av ryggen, medan vissa ljud även kändes i låren. Tyvärr så medför det ytterst begränsade deltagarantalet i studien att det inte går att dra några konkreta slutsatser kring relevansen i dessa resultat, även om det går att se likheter mellan de olika deltagarnas perception. Målet med undersökningen var i första hand att ta reda på om det fanns någon koppling mellan ett visst ljud och om en viss del av kroppen är mer mottaglig för att uppfatta ljudets frekvenser. Vår förhoppning var att hitta likheter i svaren från de olika deltagarna, för att kunna bekräfta kopplingen mellan ett ljud och vilken kroppsdel det ljudet triggar. Det här är relevant eftersom om detta hade bekräftas skulle det kunnat resultera i konstruktionen av en generell prototyp, där parametrar så som högtalarplacering och frekvensfiltrering kunnat vara mer permanenta. Det hade även inneburit att den första frågeställningen, 23 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi gällande möjligheten att återskapa samma förutsättningar hos en döv som hos en hörande vid utövandet av musik, lättare kunnat besvaras. Detta då vetskapen om hur olika ljud känns vid olika platser på kroppen, skulle kunna indikera att dessa via ett hjälpverktyg då går att förtydliga eller förstärka genom att manipulera ljudet. Eftersom undersökningen bara bestod av två stycken deltagare så blir dock dessa saker svåra att påvisa, speciellt då det inte ens mellan dessa två gick att hitta en röd tråd genom alla svar, åtminstone inte utifrån de svar som getts. Dessa var dessvärre relativt otydliga till och från, och baserat på vad det är vi efterfrågar och vad som faktiskt har svarats finns det mycket som pekar på att en del av frågorna misstolkats, trots våra intentioner om att vara så tydliga som möjligt. Genom hela undersökningen fördes det en dialog med deltagarna där betydligt mycket mer information om det vi eftersökte presenterades, något som dock gick förlorat när det skulle formuleras i text, vilket har fått oss att inse att undersökningen hade tjänat på att ha ett annat upplägg vad gäller insamlingen av svar. Det vi i efterhand diskuterat är att en videoupptagning av hela undersökningen, alternativt ett tydligare, mer uppstyrt och välspecificerat upplägg av svarsenkäten, hade kunnat ge en mer tydlig bild av hur ljuden faktiskt uppfattades. Undersökningen genomfördes dessutom på båda deltagarna samtidigt, vilket innebär att det finns en risk för att dem kan ha haft en mer eller mindre omedveten inverkan på varandras svar då diskussioner emellan dem uppstod angående hur olika ljud upplevdes. Det hade varit intressant att se hur svaren sett ut om undersökningen genomförts på deltagarna individuellt, något som tyvärr ej var möjligt på grund av deltagarnas scheman och vår tidsbrist inför deadline. Sammanfattningsvis så får vi konstatera att det ej går att dra några konkreta slutsatser kring resultatet ur denna undersökning, på grund av de otydligheter samt övriga omständigheter som beskrivits, så leder det till att det mestadels blir en tolkningsfråga när det kommer till att tyda resultaten. Detta medför att den första frågeställningen, baserat på detta underlag, förblir ett lika stort frågetecken som innan undersökningen genomfördes ur en vetenskaplig synvinkel. Med det sagt så har den ändå, i och med de diskussioner som uppstod men som ej finns dokumenterade, gett en positiv känsla vad gäller möjligheterna för en döv att utöva ett instrument under förutsättningar som påminner om de som en hörande har. 9.2 Undersökning 2 Den ursprungliga planen för utvärderingen av artefakten var att den skulle baseras kring det underlag som samlades in från undersökningen med den döva deltagargruppen. Tanken var då att högtalarna som ingick i prototypen skulle placeras i enlighet med de svar vi samlat in för att se hur det gick att förstärka och filtrera olika ljud och frekvenser för att på så vis se om detta skulle kunna bidra till att ge ljuden en tydligare karaktär när de endast kan upplevas i form av vibrationer. I och med all problematik som uppstod vid konstruktionen av den tänkta prototypen så fick dessa planer justeras och anpassas utifrån de verktyg som istället stod till vår förfogande, nämligen Stereohaptics-kitet. Även fast detta kit har varit oss till stor hjälp så innebar detta att vi blev till viss mån begränsade i och med att vi nu enbart hade tillgång till två kanaler och att de, på grund av deras relativt små dimensioner inte hade möjlighet att generera den ljudstyrka som vi behövde. Vi valde därför att genomföra utvärderingen med högtalarna placerade på deltagarnas handflator, detta för att händerna är en del av kroppen med väldigt hög perception, och vårt huvudsakliga mål med utvärderingen blev att undersöka om det var möjligt att avgöra om olika ljud gick att särskilja. Att vi till utvärderingen endast hade med hörande personer när arbetet handlar om hjälpverktyg för döva beror i första hand på att ingen av de döva vi hade kontakt med hade möjlighet att delta vid tillfället för utvärderingen. I och med de justeringar vi 24 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi behövt göra så var det här dock av mindre betydelse då vi till skillnad från undersökningen kunde genomföra detta med hörande personer. Detta berodde främst på att med endast två kanaler och relativt lågt ljudtryck fanns ingen risk för att deltagarna skulle kunna uppfatta det ljudläckage som uppstod från högtalarna när de hade hörlurarna med brus på sig. På så vis fick vi möjlighet att utvärdera skillnaderna i vibrationer ändå. Att deltagarna inte bestod av några döva skulle kunna ses som både positivt och negativt. Det negativa vi kan se är att i och med att döva är vana vid att uppfatta ljud via vibrationer så innebär det att de förmodligen skulle kunna känna skillnad mellan dem olika ljuden bättre än vad en hörande kan. Detta skulle dock även kunna ses som positivt, speciellt eftersom resultaten pekar på att deltagarna ändå klarade av att svara rätt i mer än 60% av fallen så bör en liknande undersökning med enbart döva kunna resultera i ett ännu högre resultat. Som motargument till detta så kan man åt andra sidan tänka sig att hörande konsumerat musik i en betydligt högre grad än döva och har på så vis en undermedveten perception av hur olika ljud känns. Ett exempel som kan stödja detta är en av deltagarna i utvärdering som är musiker, deltagaren kunde utan större problem separera majoriteten av ljud vilket inte känns orimligt då personen spenderat många timmar i närhet till musik. Av de två singalbehandlingsmetoder vi använde oss av var det IIR-filtert som hade den bästa upplevelsen i form av vibrationer, något av ett väntat resultat efter att ha testat både högtalare och filter på egen hand under implementationsfasen. Till skillnad från FFT-algoritmen och hur den applicerades så är det inbyggda IIR-filtrena i JUCE faktiskt gjort för att kunna filtrera bort frekvenser som inte önskas vara med. När vi filtrerar frekvenserna med hjälp av FFT-algoritmen kommer vi inte kunna få den mjuka avtagningen vid en viss frekvens som med IIR-filtret och därför innehöll ut-signalen från FFT mer ljudartefakter vilket i slutändan resulterar i att vibrationerna ej överensstämmer med det ljud som kommer som input. 9.3 Diskussion - sammanfattning Frågeställningarna som sattes upp för detta arbete förblir tyvärr till en hög grad obesvarade. Eftersom både underlaget och prototypen som hade behövts för att utvärdera dessa till fullo var alldeles för bristfälliga så går det endast att spekulera kring dem baserat på den knapphändiga information som vi lyckades samla in. Det som går att säga gällande den första frågeställningen baserat på den data vi samlat in är att det bör vara möjligt att till en viss gräns erbjuda, om inte liknande, så åtminstone förutsättningar som ligger en bra bit över de grundförutsättningar en döv har när det kommer till att tolka och urskilja olika ljud. Det skulle förmodligen krävas en stor portion övning för att lära sig skilja på olika ljudkällor och tonhöjder, precis som det är för en hörande som lär sig ett instrument. Detta är något vi baserar på den erfarenhet vi samlat på oss under arbetets gång, och innebär att för att verkligen kunna utvärdera ett verktyg av den här typen fullt ut så skulle det behöva ske under en betydligt längre tidsperiod än vad som varit avsatt för detta arbete. Vad gäller den andra frågeställningen så kan vi bara konstatera att av de två varianter vi prövade så var det via IIR-filter som vi fick bäst resultat, detta innebär ju dock inte att detta nödvändigtvis är den bästa metoden för att maximera upplevelsen. Dels så finns det säkerligen fler metoder och olika sorters filter som klarar av att göra samma sak som de vi prövat, men det finns även olika sätt att manipulera och finjustera dessa, vilket innebär att för att verkligen besvara denna frågeställning så behöver en mer omfattande jämförelse genomföras. Vi hade för vår utvärdering (undersökning 2) dessutom endast en sorts filtrering (vid 500 hz) och sannolikheten är stor att olika filter klarar av att hantera filtreringar vid olika frekvenser på sätt som är mer eller mindre fördelaktiga beroende på vid vilken frekvens det sker, något som vi ej har testat. Detta kan till exempel vara fil25 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi ter som har olika antal dB som de avtar med, vilket säkerligen skapar olika upplevelser gällande hur ljudet känns. 9.4 Högtalare Det ursprungliga målet för arbetet var att bygga en artefakt bestående av modifierade elektrodynamiska högtalare och inkludera Stereohaptics-kitet i denna för att på så vis kunna göra en mer högupplöst upplevelse där ett ljuds frekvenser kunde separeras ut till olika delar på kroppen och vår förhoppning var att på så vis skapa ett verktyg som gör att det blir lättare kunna urskilja olika ljuds karaktär baserat på hur dess vibrationer känns. Fyra stycken högtalare modifierades för att efterlikna i så hög utsträckning som möjligt de högtalare som ingår i Stereohaptics-kitet, och det gjordes genom att avlägsna den pappkon som vanligtvis karaktäriserar en normal högtalare. Den omkringliggande stålramen som konen var fäst i avlägsnades även den för att högtalaren skulle kunna komma så nära kroppen som möjligt, och det som blev kvar var spolen och magneten, samt den mellanliggande upphängningen som håller spolen på plats i magneten. Dessa sex högtalare skulle sedan placeras på kroppen baserat på den första undersökningen vi genomförde, med målet att ta reda på hur olika frekvenser kändes på kroppen. När högtalarna väl skulle börja testas i kombination med den framtagna programvaran uppstod stor problematik då alla fyra högtalare var passiva och därför behöver separat strömmatning för att fungera. Detta var något som det tilltänkta ljudkortet inte klarade av och vi tog därför beslutet att konstruera förstärkare på egen hand. Den främsta anledningen till detta berodde på att varje högtalare behöver kunna matas med en separat signal och de färdiga förstärkare som fanns att tillgå saknade denna möjlighet. Efter viss efterforskning, kombinerat med vad för typ av komponenter som fanns att tillgå med kort varsel, så beslutade vi oss för att bygga vår förstärkare med ic-kretsen lm324. lm324 är en så kallad op-amp krets vars uppgift passande nog är att förstärka en signal, den är även av typen "quadruple" vilket innebär att fyra separata signaler kan förstärkas via samma krets vilket får anses som optimalt då vi hade fyra högtalare som behövde förstärkning. Efter några inledande snedsteg byggdes en fungerande prototyp av förstärkaren på en breadboard och när detta väl var avklarat så inleddes nästa fas, vilket var att överföra konstruktionen till en protoboard då breadboard-prototypen var alldeles för känslig för att transportera runt, vilket skulle krävas till utvärderingen av arbetet. En protoboard är en kretskortsliknande lösning där man kan löda fast alla sin komponenter och på så vis få en mer stabil och konkret konstruktion, något vi behövde för att ha en mer mobil lösning inför utvärderingen. Dessvärre fick vi aldrig den kretskortsliknande varianten att fungera och då ingen av oss besitter mer än väldigt begränsade kunskaper om elektronik, samt det faktum att den första konstruktionen tog så pass lång tid att bygga att vi helt enkelt inte hade tid att göra om det, så tog vi beslutet att enbart jobba vidare med Stereohaptics-kitet. 26 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi (a) (b) Figur. 12: Högtalare & kretskort - (a) Till vänster i bild, de modifierade högtalarna och till höger, breadboard förstärkaren. (b) förstärkaren monterad på perfboard 10 Slutsatser Även om vår ursprungliga plan för att utvärdera detta arbete aldrig realiserades så finns det ändå saker som pekar på att detta är ett område som har stor utvecklingspotential. Vår utvärdering resulterade i en relativt hög kvot med korrekta svar - 74% för det filtrerade ljudet - gällande att särskilja olika ljud. Detta åstadkoms med endast två högtalare där separationen mellan frekvensområden blev begränsat till endast två, ett område per högtalare. Då dessa resultat gick att prestera med enbart två högtalare och en filtrering så är våra förhoppningar stora att en eventuell uppskalning med fler högtalare och större möjligheter till fördelningen av frekvenser skulle kunna leda till ännu bättre resultat. Det som även går att utläsa ur utvärderingen är att deltagarna föredrog IIR-filtreringen framför FFT-filtreringen, ett resultat som egentligen inte förvånar då sättet som FFT-filtreringen appliceras på ej är optimalt. 10.1 Framtida arbete Då arbetet slutligen bara involverade två stycken högtalare finns det gott om utrymme för en expandering av detta arbete. Att på en uppskalade variant, bestående av ett större antal högtalare där möjligheterna till frekvensuppdelning är betydligt större, jobba vidare mot ett fungerande verktyg skulle vara intressant. Utvecklingsmöjligheterna för programvaran som står i anslutning till detta verktyg bör också vara stora, då mängden sätt att filtrera och manipulera ljud på är enorm. 27 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi Referenser [1] B. La Versa, I. Peruzzi, L. Diamanti, and M. Zemolin, “Muvib: music and vibration,” in Proceedings of the 2014 ACM International Symposium on Wearable Computers: Adjunct Program, pp. 65–70, ACM, 2014. [2] “Deafness and hearing loss.” http://www.who.int/mediacentre/factsheets/fs300/ en/, Februari 2017. [Online] Hämtad 2017-04-18. [3] S. A. Gelfand, Hearing: An introduction to psychological and physiological acoustics, vol. 5. Informa Healthcare, 2009. [4] C. Taylor and M. Campbell, “Sound.” http://www.oxfordmusiconline.com.ep.bib. mdh.se/subscriber/article/grove/music/26289. Grove Music Online. Oxford Music Online. Oxford University Press. [Online] Hämtad 2017-05-21. [5] H. F. Olson, Music, physics and engineering, vol. 1769. Courier Corporation, 1967. [6] D. Robinson and G. Sutton, “Age effect in hearing-a comparative analysis of published threshold data,” Audiology, vol. 18, no. 4, pp. 320–334, 1979. [7] A. Bergenson, Musiklära. Stockholm: Abr. Lundquists musikförl., 3 ed., 1929. [8] “The authoritative dictionary of ieee standards terms.” http://ieeexplore.ieee. org.ep.bib.mdh.se/stamp/stamp.jsp?arnumber=4116787, 2000. [Online] Hämtad 2017-05-24. [9] J. Borwick, “Acoustics.” http://www.oxfordmusiconline.com.ep.bib.mdh.se/ subscriber/article/opr/t114/e53. The Oxford Companion to Music. Ed. Alison Latham. Oxford Music Online. Oxford University Press.[Online] Hämtad 2017-05-21. [10] G. Ballou, Handbook for sound engineers. Taylor & Francis, 2013. [11] M. Achibet, B. Le Gouis, M. Marchal, P.-A. Léziart, F. Argelaguet, A. Girard, A. Lécuyer, and H. Kajimoto, “Flexifingers: Multi-finger interaction in vr combining passive haptics and pseudo-haptics,” in 3D User Interfaces (3DUI), 2017 IEEE Symposium on, pp. 103–106, IEEE, 2017. [12] Y. Takeuchi, S. Kamuro, K. Minamizawa, and S. Tachi, “Haptic duplicator,” in Proceedings of the 2012 Virtual Reality International Conference, p. 30, ACM, 2012. [13] S. W. Smith, The Scientist and Engineer’s Guide to Digital Signal Processing. San Diego, CA, USA: California Technical Publishing, 1997. [14] P. Duhamel and M. Vetterli, “Fast fourier transforms: a tutorial review and a state of the art,” Signal processing, vol. 19, no. 4, pp. 259–299, 1990. [15] J. G. Proakis and D. G. Manolakis, “Digital signal processing: principles algorithms and applications,” 2001. [16] J. W. Cooley and J. W. Tukey, “An algorithm for the machine calculation of complex fourier series,” Mathematics of computation, vol. 19, no. 90, pp. 297–301, 1965. [17] Wikipedia, the free encyclopedia, “Low-pass filter.” https://upload.wikimedia.org/ wikipedia/commons/e/e9/Butterworth_response.png. [Online] Hämtad 2017-0607. 28 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi [18] S. Nanayakkara, E. Taylor, L. Wyse, and S. H. Ong, “An enhanced musical experience for the deaf: design and evaluation of a music display and a haptic chair,” in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 337–346, ACM, 2009. [19] B. Petry, T. Illandara, and S. Nanayakkara, “Muss-bits: sensor-display blocks for deaf people to explore musical sounds,” in Proceedings of the 28th Australian Conference on Computer-Human Interaction, pp. 72–80, ACM, 2016. [20] E. Gunther and S. O’Modhrain, “Cutaneous grooves: composing for the sense of touch,” Journal of New Music Research, vol. 32, no. 4, pp. 369–381, 2003. [21] S. Zhao, Z. Schwemler, interactions using audio Conference on Tangible, NY, USA), pp. 778–781, A. Fritz, and A. Israr, “Stereo haptics: Designing haptic tools,” in Proceedings of the TEI ’16: Tenth International Embedded, and Embodied Interaction, TEI ’16, (New York, ACM, 2016. 29 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi Bilagor Ljudgrupper Grupp: 1 2 3 4 5 6 7 Instrument Elbas Elgitarr Piano(ettstrukna oktaven) Elbas (Dissonans) Elbas (Kvint) Bas Piano(ettstrukna oktaven) Gitarr Ton/Ackord E, A, G D-Dur D-Moll A-Dur Toner E, A, G D, A, D, F# D, A, D, F A, E, A, C#, E E-Moll E, B, E, G, B, E C-Dur C, E, G Frekvens* 41, 55, 49 147, 220, 294, 370 147, 220, 294, 349 110 , 165, 220, 277, 330 82, 123, 165, 196, 247, 330 262, 330, 392 C-Moll E/F C, D#, G E/F 262, 311, 392 41/44 C/G E E-Dur C/G E E, G#, B 65/98 41 330, 415, 494 E-Dur E, B, E, G#, B, E E(bas), E, B, E, G#, B, E E(bas), E, G#, B 82, 123, 165, 208, 247, 330 - Bas/Gitarr E-Dur Bas/Piano Bas (Skala) E-Dur A, C, D, E, G, A, C, D Bas (Skala) F, G#, Bb, C, D#, F, G#, A# - Baskagge Virvel HiHat Trumset Slinga - 110 , 131, 147, 165, 196, 220, 262, 294 87, 104, 117, 131, 156, 175, 208, 233 >50 >50 >120 >120 >? >? - Tabell 2: Ljudgrupperna som användes till den första undersökningen *med frekvens avses grundtonens frekvens 30 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi Grupp 1 - El-bas Den första ljudgruppen bestod av tonerna E, A, G, spelade på en el-bas. Syftet med den första gruppen var att ta reda på dels var i/på kroppen dessa ljud har störst inverkan, men även ta reda på om det gick att särskilja dem åt rent tonhöjdsmässigt. Grupp 2 - Gitarr Den andra gruppen innehöll 4 stycken gitarrljud där vart och ett var antingen ett dur eller ett moll ackord, ackorden som spelades upp var följande: D-dur, D-moll, A-dur och E-moll. Precis som med den första gruppen så var det på vilken del av kroppen som dessa ljud kändes mest samt om det gick att känna någon skillnad mellan de olika ljuden som var av intresse. Grupp 3 - Piano I den tredje ljudgruppen bestod ljudkällan av olika pianoackord. det som spelades upp var först ett C-dur följt av ett C-moll och det som skulle besvaras var dels hur dessa kändes, men även om det gick att uppfatta någon skillnad mellan dem. Grupp 4 - Intervall Med ljudgrupp nr 4 ville vi undersöka hur olika intervall som spelades samtidigt uppfattades. det första intervallet bestod av tonerna E och F, vilket är två toner som ligger direkt efter varandra och skapar en stark dissonans. Det andra intervallet kan ses som raka motsatsen till en dissonans och bestod av tonerna C och G, ett intervall som på musikspråk kallas för en ren kvint. Grupp 5 - Instrumentkombinationer I den femte ljudgruppen spelades 5 stycken ljud upp, och samtliga ljud spelade samma ackord, E-dur (bortsett från el-basen som endast spelade grundtonen E). De tre första ljuden spelades på el-bas, piano och gitarr i denna ordning, och de två sista ljuden var kombinationer av först el-bas och gitarr och sen el-bas och piano. Det som eftersöktes med denna grupp var att se om de olika instrumenten och instrumentkombinationerna kändes annorlunda jämfört med varandra. Grupp 6 - Skalor Innehållet i den näst sista gruppen bestod av två stycken skalor spelade på en el-bas. Skalornas intervall var desamma men med olika toner som utgångspunkt, detta för att ta reda på om det gick att känna skillnad på just toninnehållet när intervallen var samma för bägge skalorna. Grupp 7 - Trumset Den sista ljudgruppen består av tre stycken underkategorier, först diverse trumljud, följt av två identiska trumkomp spelade på två olika trumset och till sist en längre ljudslinga bestående av samtliga instrument. I den första delen spelas först en baskagge upp följt av virveltrumma och hihat, varje typ av trumma spelas dessutom upp två gånger då varje inspelning finns i två exemplar i och med att två samplingar från två olika trumset använts för att se om det går att känna någon skillnad dem emellan. Den andra delen av sista 31 Mälardalens högskola Sebastian Pettersson, Kristoffer Palfi gruppen bestod av två identiska trumkomp samplade från samma två trumset som i de föregående ljuden, och syftet med det är detsamma som innan, att se om det gick att känna skillnader emellan de två. Det allra sista ljudet som spelades var en ljudslinga bestående av samtliga instrument där både trumkomp, ackord, bas-gång samt en melodislinga ingick. 32