TAKTILA HJÄLPMEDEL FÖR HÖRSELSKADADE INOM MUSIKEN

Mälardalens högskola
Akademin för innovation, design och teknik
Västerås, Sverige
DVA331 - Examensarbete för kandidatexamen i datavetenskap.
TAKTILA HJÄLPMEDEL FÖR
HÖRSELSKADADE INOM MUSIKEN
Sebastian Pettersson
Kristoffer Palfi
[email protected]
[email protected]
Examinator: Daniel Hedin
Handledare: Rikard Lindell
2017-05-24
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
Sammanfattning
I det här arbetet har vi försökt att konstruera en artefakt vars syfte är att ge döva en
musikalisk upplevelse i form av vibrationer. Vi har undersökt i vilken utsträckning det går
att göra detta på och vi har även testat olika signalbehandlingsalgoritmer för att manipulera
ljud, och på så vis se om de blir någon skillnad och vilken som gav den bästa upplevelsen.
En undersökning utfördes på döva/hörselskadade personer för att få en överblick om hur
och vart de upplever ljud, följt av en utvärdering av artefakten för att se om det gick att
urskilja två ljud från varandra. Resultatet blev en artefakt med möjlighet att filtrera ut
olika frekvensområden till flera kanaler, vi fick fram att IIR-filtrering var mer effektiv än
FFT och genom utvärderingen visade det sig att en manipulerad signal gjorde det lättare
att skilja på två olika ljudsignaler baserat på deras vibrationer.
Abstract
In this work, we have tried to construct an artifact with the purpose to give deaf people a
musical experience in the form of vibrations. We have investigated at which lengths this is
possible to do so and we have also tried various signal processing algorithms to manipulate
sound to see if they give any different results and compared the experience. We did a test on
deaf people so we could get an overview on how and where they feel sound and then based
on that we did another test with the artifact to see if it was possible to distinguish one
sound from the other. The results of the work was an artifact that was capable of filtering
an area of frequencys and distribute the manipulated signals to several channels. When we
compared the signal processing algorithms we got that the IIR filtering was more effective
than FFT and had a better vibration output. The results from the evaluation showed that
it was easier to distinguish two filtered signals based on the vibrations.
1
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
Förord
Vi vill tacka Disney research som lånade ut sitt stereohaptic-kit till oss. Vi vill även passa
på att tacka vår handledare Rikard Lindell som hjälpt oss under arbetets gång samt vår
examinator Daniel Hedin, och ett stort tack till Jesper Johansson-Törnsten för lånet av
PA utrustningen inför undersökningen.
2
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
Innehållsförteckning
1 Inledning
1.1 Syfte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Frågeställning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 Bakgrund
2.1 Ljud . . . . . . . . . .
2.1.1 Frekvens . . . .
2.1.2 Övertoner . . .
2.1.3 Decibel . . . .
2.1.4 Amplitud . . .
2.1.5 Våglängd . . .
2.1.6 Högtalare . . .
2.2 Haptik . . . . . . . . .
2.3 Signalbehandling . . .
2.3.1 Diskreta fourier
2.3.2 Filter . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
transformen & Fast fourier transformen
. . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5
5
5
5
. 6
. 6
. 7
. 8
. 8
. 8
. 8
. 9
. 9
. 9
. 11
3 Relaterade arbeten
13
4 Metod
15
5 Etik och Samhälleliga aspekter
15
6 Undersökning 1
6.1 Förarbete . . . . . . . . . .
6.2 Uppställning och utrustning
6.3 Genomförande . . . . . . .
6.4 Ljudgrupper . . . . . . . . .
7 Undersökning 2
7.1 JUCE . . . . . . . . . . .
7.2 Gränssnitt . . . . . . . . .
7.3 Programvara . . . . . . .
7.4 Stereohaptics-kit . . . . .
7.5 Undersökning av artefakt
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
16
16
16
17
17
.
.
.
.
.
17
17
18
19
21
21
8 Resultat
22
8.1 Undersökning 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
8.2 Undersökning 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
9 Diskussion
9.1 Undersökning 1 . . . . . . . .
9.2 Undersökning 2 . . . . . . . .
9.3 Diskussion - sammanfattning
9.4 Högtalare . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
23
23
24
25
26
10 Slutsatser
27
10.1 Framtida arbete . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
Referenser
28
Bilagor
30
Figurer
1
2
3
4
5
6
7
8
9
10
11
12
Från tidsdomänet till frekvensdomänet
Radix-2 DIT FFT . . . . . . . . . . .
Butterworthfilter . . . . . . . . . . . .
Haptic chair . . . . . . . . . . . . . . .
Muss-Bits . . . . . . . . . . . . . . . .
Cutaneous grooves . . . . . . . . . . .
Undersökning . . . . . . . . . . . . . .
Tidigt användargränssnitt . . . . . . .
Användargränssnitt . . . . . . . . . . .
FFT-algoritmen . . . . . . . . . . . . .
Stereohaptic-kit . . . . . . . . . . . . .
Högtalare & kretskort . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
10
11
12
13
14
14
17
18
19
20
21
27
Tabeller
1
2
Resultat från utvärdering . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Ljudgrupperna som användes till den första undersökningen . . . . . . . . . 30
4
Mälardalens högskola
1
Sebastian Pettersson, Kristoffer Palfi
Inledning
Musik är en väldigt stor del av många människors liv, och det finns belägg för att den
bland annat kan reducera stress samt ha en positiv inverkan på immunförsvaret [1]. Idag
lider ca 5% (360 miljoner) av världens befolkning av någon form av hörselnedsättning [2],
och för dessa människor, framför allt de som är gravt hörselskadade alternativt helt döva,
så är detta ej en naturlig del av livet i alls samma utsträckning som hos en hörande.
Ljud är vibrationer, ett faktum som de allra flesta förmodligen aldrig reflekterar över.
Det som gör att vi människor kan uppfatta ett ljud är att när vibrationer från en ljudkälla
når trumhinnan så sätts den i rörelse, detta resulterar i sin tur att signaler skickas till
hjärnan och det är dessa signaler vi tolkar som ljud [3]. Det finns många orsaker till
varför vissa människor inte kan uppfatta ljud och det är på grund av detta har vi försökt
undersöka möjligheterna för döva att uppleva musik på ett sätt som ska försöka efterlikna
det sätt hörande upplever musik på, med hjälp av vibrationer från haptiska högtalare.
Under arbetets gång utförde vi en undersökning som skulle agera som ett underlag
för resten av arbetet, undersökningen utfördes på döva/hörselskadade personer där de fick
beskriva hur och var olika ljud med varierande frekvensstyrka kändes någonstans på kroppen. Efter att vi samlat in data från undersökningen började arbetet med Stereohapticskitet.
Kitet ska ta emot en ljudsignal som via programvaran manipulerats på så vis att det
blir möjligt att dela upp de olika frekvensområden ljudet består av, för att sedan fördela
ut det till kitets högtalare som ska spela upp de manipulerade ljudsignalerna och ge en
form av vibrationsupplevelse.
1.1
Syfte
Syftet med detta arbete är att med hjälp av signalbehandlingsalgoritmer försöka fördela
ut frekvenserna från en ljudkälla till olika högtalare som står i direktkontakt med kroppen,
för att se om det går att få döva att uppleva musik på liknande villkor som en hörande
kan.
1.2
Frågeställning
De frågor som vi ska försöka besvara är följande:
• I vilken utsträckning går det att återskapa de förutsättningar som en hörande utövare
av musik har, även för en döv?
• Vilka digitala signalbehandlingsalgoritmer i kombination med haptisk feedback i form
av specialanpassade högtalare ger den bättre musikaliska upplevelsen i form av vibrationer?
2
Bakgrund
I detta kapitel kommer vi att introducera och definera de olika kunskaper som ligger till
grund för detta arbete. Vi kommer beskriva vad ljud faktiskt är och hur det relaterar till
den mänskliga känseln samt de olika metoderna som vi kommer att använda oss av för att
manipulera ljudsignaler.
5
Mälardalens högskola
2.1
Sebastian Pettersson, Kristoffer Palfi
Ljud
Vid en första anblick kan ljud te sig rätt simpelt, det är vad vi uppfattar genom vår hörsel,
en formulering som visserligen stämmer, men som definitivt går att expandera.
Ljud, eller ljudvågor, uppstår när någon form av objekt vibrerar, och dessa vågor sprids
i alla riktningar i rummet för att till slut nå fram till en mottagare, exempelvis en mikrofon
eller våra öron. Dessa vågor tillhör kategorin mekaniska vågor, vilket innebär att de behöver
ett medium som luft eller vatten för att kunna transporteras (till skillnad från till exempel
ljus som kan göra detta i vakuum) [4]. Det vi människor vanligtvis uppfattar som ljud
är när dessa vågor sprids via luften och detta sker då i form av lufttrycks-variationer som
resulterar i förtunningar och förtätningar av partiklarna i luften, och när dessa når fram till
våra trumhinnor så börjar de att vibrera. Vibrationerna omvandlas i sin tur till elektriska
signaler som våra hjärnor tolkar som ljud [3].
I sin enklaste form kan ett ljud representeras av en enkel sinuston vilket resulterar i
ett ljud som vid framförallt högre frekvenser bäst kan beskrivas som ett obehagligt tjut.
Dessa ljud får dock ses som specialfall och är sällan något som uppstår naturligt. Det vi
vanligtvis hör när vi pratar med varandra eller lyssnar på ett instrument (akustiska) är
sammansättningar av ett stort antal sinustoner som tillsammans bildar ett ljud.
2.1.1
Frekvens
Ett ljuds tonhöjd avgörs av dess frekvens, vilket innebär antalet svängningar som sker
per sekund [5], och en högre frekvens är ekvivalent med en högre tonhöjd och vice versa.
Ett ljuds frekvens betecknas med Hz (hertz) och en period - det vill säga, från nolläge
till toppläge, tillbaka till nolläge, vidare till bottenläge och till sist tillbaka till nolläget
på en sinuskurva - som tar en sekund har frekvensen 1 Hz, en halv sekund 2 Hz och så
vidare. Det hörbara frekvensspektrat brukar vanligtvis delas in i tre olika register: bas
(∼16 Hz - ∼256 Hz), mellanregister (∼256 Hz - ∼2 kHz) och diskant (∼2 kHz - ∼16,3
kHz). Den mänskliga hörseln kan uppskattningsvis uppfatta mellan 20 - 20 000 Hz, vilket
får anses som en sanning med modifikation då dessa siffror framför allt är applicerbara
på ett spädbarn, i och med att alla människor tappar upptagningsförmågan i diskanten ju
äldre de blir (och det är inte alls ovanligt att en normalhörande person i övre medelåldern
kan ha tappat så mycket som 10 kHz) [6]. Att ha förlorat 10 kHz i det övre registret av sin
hörsel innebär dock inte att halva ens egentliga hörsel försvunnit. Tittar man på ljud ur
ett fysiskt perspektiv, och med den västerländska harmoniläran som hjälpmedel går detta
att tydliggöra relativt enkelt.
Toner i musiken brukar grupperas i oktaver, där varje oktav innehåller 12 halvtoner [7]
- C, C#, D, D#, E, F, F#, G, G#, A, A#, B - för att sedan börja om från samma ton
fast med den dubbla frekvensen. Tonerna inom oktaven stiger hela tiden i frekvens, och
sättet dessa frekvenser ökar på har ett tydligt samband, vilket är att för varje ny oktav så
höjs frekvensen för en ton till det dubbla. Oktaverna är namngivna på följande sätt, från
högsta till lägsta:
• Femstrukna oktaven (4186,0 Hz - 7902.2 Hz)
• Fyrstrukna oktaven(2093,0 Hz - 3951,0 Hz)
• Trestrukna oktaven (1046,5 Hz - 1975,5 Hz)
• Tvåstrukna oktaven (523,2 Hz - 987,8 Hz)
• Ettstrukna oktaven (261,6 Hz - 493.9 Hz)
6
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
• Lilla oktaven (130,8 Hz - 246,9 Hz)
• Stora oktaven (65,41 Hz - 123,5 Hz)
• Kontraoktaven (32,70 Hz - 61,74 Hz)
• Subkontraoktaven (16,35 Hz - 30,87 Hz)
Med utgångspunkt i en flygel som har 88 tangenter går det att åskådliggöra relationen
mellan en ton och frekvenserna den genererar. Den lägsta tonen på en flygel med 88
tangenter är tonen A i subkontraoktaven, vilket är den lägsta oktaven som går att spela
på flygeln. Detta A har frekvensen 27,50 Hz. Vid nästa förekomst av tonen A, det vill
säga, i kontraoktaven så har dess frekvens dubblerats och har nu 55,0 Hz. På samma vis
fungerar det sen genom resterande oktaver för samtliga toner, och om man tittar på tonen
A så får den följande frekvenser för varje oktav, nedifrån och upp:
• Femstrukna oktaven - 7040,0 Hz
• Fyrstrukna oktaven - 3520,0 Hz
• Trestrukna oktaven - 1760,0 Hz
• Tvåstrukna oktaven - 880,0 Hz
• Ettstrukna oktaven - 440,0 Hz
• Lilla oktaven - 220,0 Hz
• Stora oktaven - 110,0 Hz
• Kontraoktaven - 55,0 Hz
• Subkontraoktaven - 27,5 Hz
För att sätta dessa frekvenser i lite perspektiv så är exempelvis den högsta strängen
på en gitarr 329,6 Hz och den högsta strängen på en violin 659,2 Hz, “höga C” för manliga
sångare vilket anses som den övre gränsen för en tenor är 523,2 Hz och “höga C” för
kvinnliga sångare är 1046,4 Hz, den högsta tonen i arian “Nattens Drottning” ett F med
frekvensen 1397 Hz.
De sex första oktaverna, subkontraoktaven till tvåstrukna oktaven, har alla sitt toninnehåll under 1000 Hz medan den fyrstrukna oktaven sträcker sig över ett spann på ∼2000
Hz. Detta innebär att oktaven efter femstrukna oktaven sträcker sig från 8372 Hz till 16
744 Hz och därför resulterar en hörselnedsättning till ca 10 000 Hz att inte ens en hel oktav
försvunnit.
Med detta som bakgrund går det utan svårighet att se att trots en halvering av hörselns
upptagningsförmåga, rent frekvensmässigt, så kommer skillnaden i vad som faktiskt hörs
att vara relativt obetydlig, åtminstone till en viss gräns.
2.1.2
Övertoner
Som beskrivits i avsnittet innan så har toner olika frekvens beroende på vilken oktav de
ligger i. För att återgå till exemplet med flygeln så består ljudet som hörs när en tangent
slås ned av en sammansättning av sinustoner med olika frekvens, och dessa tillsammans
7
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
kallas för tonens deltoner. Den delton med lägst frekvens är tonens grundton och även den
som namnger den sammansatta tonen, de övriga tonerna kallas för tonens övertoner [4].
För de flesta instrument, framför allt de akustiska, samt den mänskliga rösten så består
övertonerna av jämna multipler av grundtonen och när tonerna i ljudet består av jämna
multipler så kallas dessa för harmoniska deltoner. Alternativet till detta är oharmoniska
deltoner och innebär att det finns deltoner som kan avvika från detta ursprungliga mönster,
men det kan även innebära att intervallen mellan deltonerna skiljer sig markant. Ett
exempel på det förstnämnda är ett piano vars övertoner har en viss avvikelse på grund ut
av styvheten i strängarna, och ett exempel på det sistnämnda är olika typer av slagverk.
Dessa övertoner sträcker sig långt över vad vi som människor kan höra och de olika tonerna
klingar med olika amplitud. Det är kombinationen av hur dessa deltoner samspelar som
ger ljudet sin karaktär, eller uttryckt ur ett musikaliskt perspektiv, dess klangfärg. Det
är klangfärgen som är anledningen till att det går att höra att till exempel ett piano låter
som just ett piano och inte en gitarr.
2.1.3
Decibel
Ljudtryck mäts i pascal (P a) - newton per kvadratmeter (N/m2 ) - men då dels uppmätta
ljudtrycks-nivåer tyvärr inte överensstämmer speciellt bra med hur starkt olika ljud upplevs
i förhållande till varandra och dels får en ojämn fördelning när de uttrycks på en linjär skala
så har man enats om att istället uttrycka nivåskillnader i ljudtryck logaritmiskt [8]. Detta
görs i form av “bel” (efter Alexander Graham Bell) och bel är enheten för logaritmiska
ljudtrycks-nivåer i förhållande till en angiven referensnivå. Ursprungligen beskrevs "1
bel" som en ökning/minskning av ljudtrycks-nivån som upplevs motsvara en ungefärlig
fördubbling/halvering, men i själva verket så ligger 0,6 bel närmre denna beskrivning, eller
som det vanligtvis skrivs, 6 decibel (dB).
2.1.4
Amplitud
Amplitud innebär avståndet ifrån nolläget till ett av ytterlägen i en svängning, såsom en
vågform. När vågformen, som i fallet för detta arbete, representerar ett ljud så innebär
det att amplituden motsvarar kurvans ljudtryck vid en given punkt [4].
2.1.5
Våglängd
Ljudets hastighet beror på vilket medium det transporteras genom. I luft så är den ungefärliga hastigheten för ljud 340 m/s [9]. En period beskrivs som en fullbordad sinuskurva
från nolläge tillbaka till nolläge. Våglängden är den fysiska längden av en period, och fås
genom att dividera ljudets hastighet med frekvensen. Precis som med frekvensen där en
låg frekvens är ekvivalent med en låg tonhöjd så gäller detsamma för våglängden, en längre
våglängd är ekvivalent med en lägre frekvens och vice versa.
2.1.6
Högtalare
Högtalare är omvandlare av elektrisk till akustisk energi. Elektrodynamiska högtalarelement är den vanligast förekommande varianten och är den sort som sitter i vanliga stereoanläggningar, bilar och PA-högtalare. Dessa element består av en spole som rör sig i
magnetfält och i spolen fästs någon form av membran. När en ström går igenom spolen
kommer denna att röra sig proportionellt mot styrkan på den ström som skickas in. Spolens
rörelse kommer således även att sätta membranet i rörelse, fram och tillbaka, vilket resulterar i att ljudvågor uppstår. Ett oundvikligt problem som uppstår med högtalare är att
8
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
majoriteten av den energi som tillförs omvandlas till värme och det som faktiskt blir till
ljud består vanligtvis bara av mindre än 1% av den ursprungliga energin [10].
2.2
Haptik
Haptik kan ses som ett samlingsbegrepp för saker som relaterar till känseln och känselsinnet. Ett område där det läggs mycket tid på forskning inom haptik är Virtual Reality(VR),
där målet är att ge användarna möjligheten att när de känner på animerade objekt eller
material inuti den rendrerade miljön få en haptisk feedback som resulterar i att det känns
som objekten faktiskt vidrörs. Den här typen av haptisk feedback kan ske på ett flertal
sätt: FlexiFingers är ett exoskelett av passiva komponenter för händerna [11] och Haptic
Duplicator [12] är en annan typ av handbaserad prototyp som tillåter användaren att uppleva olika texturer på objekt i VR. Det intressanta med Haptic Duplicator ur perspektivet
för detta examensarbete är att den använder sig av taktil stimulans via ljud. Detta sker
genom ett kit bestående av små taktila högtalare som får sina vibrationer via en spole,
slående lika de som kommer användas i detta arbete, och där en spole placeras vid varje
finger för att ge en så realistisk taktil återkoppling som möjligt. Material skannas med
hjälp av en mikrofon och appliceras sedan på rendrerade objekt i form av dess textur. Perceptionen i den mänskliga huden sträcker sig vanligtvis till ca 1000 Hz, vilket motsvarar
grundtonerna för de fem första oktaverna. Detta medför att en stor del av vad som ger ett
ljud sin karaktär går förlorat när det endast är känseln som ansvarar för att tolka ett ljud.
2.3
Signalbehandling
Digital signalbehandling är ett matematiskt sätt att representera och manipulera signaler,
där signalerna är representerade som diskreta värden ifrån en kontinuerlig funktion som
ligger i något domän, t.ex. tids- eller frekvensdomänet. Det är med hjälp av en signalbehandlingsalgoritm som vi kan plocka ut frekvenser från ett ljud för att möjliggöra en
fördelning av olika frekvensområden mellan högtalarna. De metoder vi kommer att använda oss av för att göra detta är Fast fourier transformen och IIR-filter som beskrivs
nedan.
2.3.1
Diskreta fourier transformen & Fast fourier transformen
Den diskreta fouriertransformen (DFT) kan användas till att analysera signaler, t.ex. ljud,
för att ta reda på vilka frekvenser den innehåller. Den tar emot diskreta värden från en
kontinuerlig signal som ligger i tidsdomänet (amplitud och tid) och transformerar den till
komplexa tal inom frekvensdomänet (amplitud och frekvens) [13]. DFT är definerad i
Definition 2.1.
Definition 2.1. Diskret fouriertransform
X[k] =
N
−1
X
x(n) · WNkn , k = 0, 1, ..., N − 1
(1)
n=0
2π
där WN = e−i N är den N:te enhetsroten vanligtvis kallad twiddlefaktorn [14]. X[k] är ett
frekvensfack som innehåller ett visst frekvensomfång, för att få ut storleken på facket tar
vi:
samplingsfrekvensen
Frekvensfack =
N
där samplingsfrekvenser fs är hur många värden vi plockar ut i sekunden. Vi kan se
en applicering av DFT i figur 1 där vi har en signal bestående av tre sinusvågor, en
9
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
samplingsfrekvens på 10 000 och N = 1000. I detta fall kommer frekvensfacket att ha
ett omfång på 10Hz, så X[0] kommer att innehålla frekvenserna från 0-10 Hz och ser vi i
frekvensdomänet får vi då ut att signalen innehåller frekvenser på 500, 1000 och 2000 Hz,
samt dess amplitud (då frekvensen är 500 är amplituden 1). Men vi kan se i definition 2.1
att för varje frekvensfack k vi letar efter måste vi gå igenom alla N punkter vilket medför
att vi får en komplexitet på O(N 2 ). Denna metod är inte optimal för större indata, i figur 1
kommer då 10002 = 1 · 106 = 1 000 000 beräkningar att göras och vi kommer då behöva ett
bättre sätt att utföra beräkningarna. En sak som är värt att notera i frekvensdomänet är
att grafen bara går upp till 5000 Hz, det vill säga, fs /2 och detta beror på Nykvistkriteriet
som säger att vi behöver dubbla samplingsfrekvensen för att rekonstruera signalen på 5000
Hz [15].
Det finns även en invers till DFT som fungerar på ungefär samma sätt fast den går
från frekvensdomänet till tidsdomänet.
Figur. 1: Den övre grafen visar en sinusvåg i tidsdomänet, den undre grafen visar resultatet
av sinusvågen i frekvensdomänet när vi har använt DFT på den.
I det tidigare exemplet använde vi oss av Fast fouriertransformen (FFT) för att kunna
dra ner på det antal beräkningarna som krävs, den använder sig av DFT fast på ett mer
effektivt sätt där resultatet blir identiskt, komplexiteten för FFT är O(N log2 N ) istället
för O(N 2 ) som i fallet för DFT. Det vill säga att vi behöver göra 1000log2 1000 ≈ 132877
beräkningar istället för 1000000.
FFT-algoritmen utveckaldes av J.W. Cooley och John Tukey under sextiotalet [16] och
den har haft en stor betydelse inom signalbehandling. FFT är en "divide and conquer"
algoritm, vilket innebär att den bryter ner den diskreta fouriertransformen till mindre delar
för att sedan bygga ihop den och på så sätt kunna minska antalet beräkningar.
Den vanligaste implementationen av en Cooley-Tukey FFT-algoritm är radix-2 decimationin-time (DIT). Genom att ta emot en array av storlek N med de utplockade värdena från
signalen, delar den då in transformen i två. Som vi kan se i ekvation 2 har den delat 1 gång
10
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
och låter den högra termen ta hand om de jämna indexen i arrayen (2r = x0 , x2 , ...xN −2 )
och den vänstra termen de ojämna indexen (2r + 1 = x1 , x3 , ..., xN −1 ). Sedan fortsätter
den på samma vis tills vi får N stycken DFT:s av storleken 1. Det tar log2 N steg för
algoritmen att dela upp transformen i N stycken termer.
N/2−1
X[k] =
X
N/2−1
x(2r) ·
WN2kr
+
r=0
=
X
k(2r+1)
x(2r + 1) · WN
r=0
N/2−1
N/2−1
X
X
x(2r) · WN2kr + WNk
r=0
(2)
x(2r + 1) · WN2kr
r=0
När vi sedan ska bygga ihop funktionen igen blir det möjligt att återanvända tidigare
beräkningar, om vi ser i figur 2 är det en transform med storleken N = 8 som visar hur
alla operationer hör ihop med varandra och vi kan se vilka beräkningar som behövs för
ett frekvensfack X[n]. Det blir då möjligt att återanvända beräkningar vilket minskar
komplexiteten till O(N log2 N ). Om vi tittar närmre på den översta operationen x(0) +
x(4) ∗ WN0 i steg 1 kan vi se att, om vi följer pilarna, blir det den beräkningen som
kommer att användas till frekvensfacken: X[0], X[2] och X[6]. Resultatet blir att den gör
8log2 8 = 24 beräkningar istället för 64 som i den vanliga DFT:n.
Figur. 2: Ett flödesdiagram av en radix-2 DIT FFT som visar hur de olika operationerna
kan återanvändas.
2.3.2
Filter
Filter är en annan metod inom signalbehandling. Det används huvudsakligen på två sätt,
antingen för att separera olika delar i signaler, som till exempel i vårt fall då vi ska plocka
ut frekvensområden, eller så kan det användas till att återställa en signal som blivit korrupt på något sätt. Det filter som ligger i fokus under denna rapport är av typen IIR,
(Infinite impulse response) [13]. Det är ett rekursivt filter som använder sig av tidigare
beräknade värden från utsignalen tillsammans med värden från insignalen för att beräkna
det efterkommande värdet i utsignalen. IIR-filter byggs oftast som en differentialekvation
11
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
som definierar hur utsignalen relateras till insignalen:
N
X
y[k] =
bj x[k − j] −
M
X
ap y[k − p]
(3)
p=1
j=0
där bj och ap är de rekursiva koefficienterna som definierar filtrets karaktär (olika filter som
använder olika matematiska operationer) och där y[k] är utsignalen och x[k] är insignalen
vid tidpunkten k. Vanligtvis använder man inte mer än ett dussin rekursiva koefficienterna
då filtret blir ostabilt på grund av att utsignalen kommer kontinuerligt att växa eller
oscillera. Om vi skriver om ekvationen ovan till:
M
X
ap y[k − p] =
p=0
N
X
bj x[k − j]
(4)
j=0
kan vi sedan göra om det till en överföringsfunktion, genom att använda sig av Z-transformen:
M
X
ap z −p Y (z) =
p=0
N
X
bj z −j X(z)
(5)
j=0
H(z) =
=
Y (z)
X(z)
PN
−j
j=0 bj z
PM
−p
p=0 ap z
(6)
H(z) är nu överföringsfunktionen som ligger i frekvensdomänet och vi har att z = Aeiθ där
A är magnituden av z och θ är argumentet. Vi har nu hamnat i ett liknande läge som i
FFT där z är lik twiddlefaktorn, fast förutom att plocka ut frekvenser kommer de rekursiva
koefficienterna att bestämma hur signalen kommer att manipuleras i frekvensdomänet.
Detta kan till exempel vara att dra ner magnituden till noll efter en viss punkt och så
pass skapa ett lågpassfilter, då kommer man skicka in en abrytande frekvens och runt den
kommer frekvenserna bli avtagande som vi kan se i figur 3.
Figur. 3: Ett Butterworthfilter med en abrytande frekvens, vi kan se att frekvenserna
börjar avta innan den avbrytande punkten och fortsätter sedan ner till 0. [17]
12
Mälardalens högskola
3
Sebastian Pettersson, Kristoffer Palfi
Relaterade arbeten
Det finns ett flertal projekt inom området för detta arbete, vi har dock inte kunnat hitta
något som haft fokus på de punkter som vi intresserat oss för. De arbeten vi tittat närmre
på har alla delar som överlappar med det vi försökt att undersöka men har haft andra
utgångspunkter och målsättningar än vi.
“The haptic chair” är ett hjälpverktyg som ska förhöja den musikaliska upplevelsen hos
döva med hjälp av vibrationer i kombination med visuell stimulans. Konstruktionen består
av en fåtölj med diverse kontakt-högtalare, som skapar vibrationer i det medium de fästs
vid. Detta resulterar i att “the haptic chair” kommer ge ifrån sig vibrationer baserade på en
ljudsignal, och man kan på så sätt känna musiken i form av vibrationer från stolen [18]. I
anslutning till stolen finns även en datorskärm vars uppgift är att visualisera dem ljud som
spelas upp. Användningen av detta verktyg kan tydligt ses begränsas till en fast punkt,
på så vis att man behöver sitta i stolen för att kunna nyttja dess funktionalitet. I och med
att arbetet är en kombination av haptik och det visuella så ter sig den här lösningen som
optimal då intryck kommer från flera håll. Och då den visuella stimulansen sker via en
mindre skärm så blir det viktigt att dessa två går att utnyttja samtidigt, vilket leder till
att användandet blir relativt statiskt.
Att använda sig av ett flertal högtalare med olika egenskaper (fyra i det här fallet)
möjliggör för en större del av kroppen att uppta ljud vilket kan ge en mer komplett och
högupplöst upplevelse. I och med att högtalarna är monterade i stolen så kommer alla
vibrationer bakifrån/underifrån, och baserat på vår efterforskning så är bröst/mage men
även framsida lår de delar på kroppen där majoriteten av vibrationerna upptas. Vill man
därför försöka förstärka dessa så kan det te sig märkligt att inte göra det vid dessa platser.
Sett ur en annan synvinkel så klarar redan dessa delar av kroppen att uppfatta ljud relativt
bra (i förhållande till många andra delar av kroppen) och skulle därför kunna ge en mer
jämn fördelning i hela kroppen, detta beror dock på vad den ursprungliga ljudkällan är
och hur starkt den spelar.
Figur. 4: Haptic chair
Ett annat taktilt hjälpmedel för att hjälpa döva och hörselskadade att uppfatta ljud
i form av vibrationer är MuSS-Bits. MuSS-Bits består av en mindre taktil enhet som
kan fästas någonstans på kroppen och erbjuder hjälp i form av både vibrationer och visuellt genom en LED belysning. Vibrationerna produceras av en ERM-motor med en
maxfrekvens kring 300 Hz [19]. Det tänkta användningsområdet för MuSS-Bits är vid in13
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
lärning alternativt utövandet av ett instrument, och den vibrerande enheten i kombination
med LED belysningen ska hjälpa den som spelar att få en bättre känsla för dels vad det är
som spelas men även underlätta när det kommer till timing i det som spelas. De begränsningar vi kan se i detta tillvägagångssätt är dels det väldigt begränsade frekvensområde
som en ERM-motor kan återge, men även det faktum att musik är något som känns i hela
kroppen och inte bara vid en enstaka punkt. Detta verktyg är dock bara 5x5 cm stort
vilket tillåter stor flexibilitet och möjlighet till justering gällande var nånstans man vill att
vibrationerna ska kännas.
Figur. 5: Muss-bits
En variant som i viss utsträckning kombinerar de tidigare två metoderna är Cutaneous
grooves, en dräkt konstruerad av Gunther och O’Modhrain [20]. Dräkten består av 10
spol-baserade vibrationsmotorer samt en större transduktor för att hantera basregistret.
Dessa taktila hjälpmedel har sedan placerats på kroppen vid punkter som ska ha en högre
känslighet för vibrationerna. Syftet har i det här fallet varit av mer artistisk karaktär
och även om en tillämpning för döva nämns i förbifarten så är det i första hand inte den
tilltänkta målgruppen. Motorerna i dräkten jobbar i ett frekvensområde som sträcker sig
upp mot 1000 Hz och specialkomponerade stycken skrevs direkt mot dräktens funktionalitet
och det frekvensomfång den klarade av att återge.
Figur. 6: Cutaneous grooves
Det vi vill undersöka, och i slutändan åstadkomma, skulle delvis kunna ses som en
kombination av vissa delar från vart och ett av dessa arbeten. Vi eftersöker den flexibilitet
som kan ses i MuSS-Bits för att möjliggöra för den som nyttjar verktyget att kunna röra
sig fritt samtidigt som den spelar eller lyssnar på musiken, samtidigt anser vi att ett större
antal vibrationskällor behövs för att dels förhöja upplevelsen men även möjliggöra för en
fördelning av frekvenser till platser på kroppen som är mer mottaglig för olika tonhöjder,
vilket påminner mer om konstruktionen av the haptic chair och Cutaneous grooves.
14
Mälardalens högskola
4
Sebastian Pettersson, Kristoffer Palfi
Metod
Vårt arbete är uppdelat i två undersökningar; den första undersökning för att erhålla en
överblick om hur ljudvibrationer känns på kroppen, detta i syfte för att delvis svara på den
första frågeställningen. Det vill säga, kan vi veta vart ljuden med olika frekvens och styrka
känns på kroppen kommer vi därefter att kunna se om det går att förhöja och förtydliga
dessa med hjälp av högtalar-kitet. Undersökningen utfördes på testpersoner där vi spelade
upp höga ljud för dem och de fick därefter beskriva hur och var ljuden kändes på kroppen.
Den andra undersökningen var att testa högtalar-kitets kapacitet vad gäller att förtydliga de olika ljud som spelas, där även den är indelad i två delar, programvara och
hårdvara
Vi började med att skapa ett användargränssnitt för att på ett lätt sätt kunna ta in
ljudet som ska manipuleras. Då vi jobbade i C/C++ och det inte har något inbyggt stöd
för att hantera ljud så använde vi oss av C++ plattformen JUCE1 , som är skriven för
att skapa ljudrelaterade applikationer. Sedan fortsatte vi med att implementera FFTalgoritmen som ska låta oss kapa av frekvenser vid en viss gräns för att sedan hitta ett
bra sätt att fördela dessa mellan högtalarna. Vi använde oss även av JUCE inbyggda IIR
baserade låg- och högpass filter för att jämföra huruvida det blir någon skillnad av att
filtrera frekvenserna rakt av via FFT, eller om det är bättre att använda sig av filter som
istället har en mjukare kurva och avtar långsammare vid den bestämda frekvensen.
När programvaran sedan var färdig började vi arbeta med högtalar-kitet och undersöka
hur detta bäst kunde tillämpas och kombineras med programvaran. Ljudet skickas genom
användargränssnittet där det är möjligt att manipulera och fördela det mellan högtalarna
och få ut olika vibrationsupplevelser. En utvärdering utfördes sedan för att testa de både
algoritmerna för att få svar på den andra frågan i frågeställningen samt se om det var
möjligt att få fram någon form av musikalisk upplevelse för få ett fullständigt svar till den
första frågeställningen.
5
Etik och Samhälleliga aspekter
Då detta arbete involverat interaktion med människor så har det även funnits en potential
för både kulturella och språkliga skillnader, framför allt vid den första undersökningen
som gjordes på uteslutande döva/hörselskadade personer. Stor vikt lades därför på att
ha en tydlig kommunikation för att undvika tvetydigheter som kan uppstå. Extra åtanke
togs vid konstruerandet av dem inledande undersökningarna för att minimera risken för
att någon skulle känna sig kränkt eller diskriminerad. Studiens deltagare informerades i
förväg om studiens syfte och vad deras roll i detta var. Det kommer ej att ske någon form
av sammanställning eller lagring av känslig information om deltagarna. Undersökningen
skedde i två steg, dels i form av en enkät gällande deltagarens relation till musik för att
ge underlag till resterande del av arbetet, och dels via momentet som ska undersöka hur
deltagarna uppfattar och tolkar olika ljud. Det är endast dessa två moment som är i
fokus, personlig information är därför ej av intresse för denna studie. Den information
som kommer sparas ur dessa moment kommer ske anonymt och endast innefatta de svar
som getts på enkäten och undersökningens frågor. Deltagandet var frivilligt och var och en
hade rätt att avbryta sitt deltagande när den så ville. Detsamma gäller för utvärderingen
av programvaran och Stereohaptics-kitet som även de involverade personer för att kunna
utvärdera. I detta fall bestod försöksgruppen av uteslutande hörande personer, vilket i viss
mån underlättade för kommunikationen, men som dock fortfarande krävde stor tydlighet
1
https://www.juce.com/
15
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
i vad som eftersöktes då exempelvis vissa begrepp som används inte nödvändigtvis är så
lätta att relatera till.
6
Undersökning 1
I följande kapitel kommer vi att berätta om den inledande undersökningen, från hur den
ställdes upp till hur den genomfördes. Vi genomförde den på två personer, den ena var helt
döv och den andra gravt hörselskadad, studien tog ungefär en timme och fyrtio minuter
att utföra.
6.1
Förarbete
Inledningsvis tog vi fram en ljudbank bestående av 84 stycken ljudinspelningar där ljudkällan var ett, alternativt en kombination, av följande instrument: Gitarr, piano, el-bas
trumset. Av dessa valde vi ut 27 ljud som varierar i frekvens för att få en sådan bred
undersökning som möjligt. För att hålla en röd tråd genom undersökningen så grupperades de olika inspelningarna baserat på framförallt tonhöjd alternativt instrument. En
gruppering bestod exempelvis av samtliga (melodibaserade) instrument, både individuellt
och som kombinationer, där alla spelade samma ton eller ackord, för att kunna få en bild
av hur dessa uppfattades på/i kroppen. Andra grupper bestod av samma instrument som
spelade olika toner för att kunna jämföra om det gick att urskilja olika tonhöjder. En
powerpoint gjordes där samtliga ljud fanns representerade och dess syfte var framförallt
att förtydliga vilket ljud som spelades upp för att inte skapa missförstånd när svaren fylldes
i. Därefter sammanställde vi även en enkät med tio frågor som handlade om deltagarnas
tidigare upplevelser av musik, och om musik är något som har saknats i deras liv. De fick
även välja fem olika alternativ om vad de tyckte skulle vara den bästa konstruktionen för
att uppleva ljud.
6.2
Uppställning och utrustning
Eftersom undersökningen utfördes på döva personer var det en nödvändighet att kunna
spela upp ljuden med ett starkt ljudtryck för att det skulle vara möjligt för deltagarna att
uppfatta vibrationerna. Ett tomt vandrarhem stod till vår förfogande och utrustningen
riggades upp i ett av dess rum. Två stycken 500 watts aktiva PA högtalare med 12"
membran användes för uppspelningen och dessa kontrollerades via ett mixerbord för att
kunna justera ljudnivåerna. Mixerbordet var sedan kopplat till en laptop där vi valde
ljuden som skulle spelas.
16
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
Figur. 7: Mixerbordet med högtalarna i bakgrunden
6.3
Genomförande
De båda deltagarna placerades centralt, ca 1.5 meter ifrån högtalarna och med tv:n framför
dem, och informerades därefter om undersökningens upplägg. Efter detta fick de svara på
enkäten om deras syn på musik för att sedan inleda den faktiska undersökningen. Ljuden
spelades upp ett och ett i ordning, baserat på hur dess ljudgrupp såg ut. Då många av
ljuden var relativt korta erbjöds deltagarna att få dem uppspelade så många gånger som
de ansåg behövdes för att kunna bilda sig en uppfattning och komma med konkreta svar.
Efter att en ljudgrupp spelats klart fick deltagarna fylla i det tillhörande häftet med frågor
gällande deras uppfattning av de uppspelade ljuden. Möjlighet fanns även att mer utförligt
beskriva ljuden om det så önskades. Detta upprepades sedan genom varje ljudgrupp till
undersökningen var klar.
6.4
Ljudgrupper
I Bilaga A har vi lagt in alla grupper med ljud i en tabell, i en grupp visas vilka instrument
det var som spelades, vilka toner/ackord och vilken frekvens varje ton. I bilagan förklarar
vi även grupperna mer noggrant och syftet med varje grupp.
7
Undersökning 2
I det här kapitlet beskriver vi arbetet med artefakten och hur undersökningen av den gick
till.
7.1
JUCE
Vi insåg tidigt i arbetet att det skulle ta alldeles för lång tid att skriva algoritmerna från
grunden och sedan tillämpa dem till vårt ändamål och eftersom vi valt att jobba i C++,
som saknar inbyggd funktionalitet för direkt hantering av ljud, bestämde vi oss för att leta
efter ett externt bibliotek som skulle passa. Vi hittade JUCE, en plattform som hanterar
ljud och grafik och är skriven för C++ av Julian Storer. Plattformen började utvecklas
2001 och har varit öppen programvara sedan 2003, dock behövs speciell licens köpas om
programvaran som skrivs är tänkt för kommersiellt ändamål2 . JUCE har inbyggda funktioner för hantering av både FFT och olika typer av filter samt all annan hantering av ljud
2
https://juce.com/history-and-development
17
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
som kan tänkas behövas för detta arbete. Eftersom JUCE är utvecklat för att kunna skapa
färdiga ljudapplikationer så innehåller det även en stor mängd funktionalitet för hantering
av grafiska användargränssnitt.
7.2
Gränssnitt
JUCE gav oss möjligheten till att skapa ett användargränssnitt, vilket vi valde att göra för
att lättare kunna hantera ljudfiler och tillämpa algoritmerna. Vi började med att göra en
större version där det var tänkt att det skulle finnas möjlighet att visa hur det ursprungliga
och manipulerade ljuden såg ut rent grafiskt för att på så vis ge en mer överskådlig bild
över hur processeringen påverkar ljudet. Den hade flera flikar där vi skulle implementera de
funktionaliteter vi troddes behöva, men efter arbetes gång insåg vi att detta var överflödigt
och bestämde oss för att skala ner användargränssnittet till en mindre design där bara det
nödvändigaste fanns med.
Figur. 8: Första designen av användargränssnittet
Gränssnittet blev tillslut en enklare design som vi kan se i figur 9, den är framförallt
anpassad för att kunna genomföra utvärderingen så smidigt som möjligt. Det användaren
möts av när programmet startar är en ruta med all funktionalitet synlig från början.
Genom att klicka på ”Open” går det att ladda in tre ljudfiler, som för tillfället är begränsat
till ”.WAV”-filer. Sedan finns det möjlighet att spela, stoppa och loopa en ljudfil i taget om
man så önskar. Eftersom vi blev begränsade till att bara använda två högtalare till ljudet
har vi lagt in ett varsitt reglage där frekvensområdena ska bestämmas samt två volymreglar,
en till varje högtalare. Till sist finns det två alternativ att välja för att manipulera ljudet
på, med hjälp av FFT-algoritmen eller med ett IIR-filter (dessa kommer att beskrivas mer
detaljerat i sektion 7.2), där det även finns möjlighet till att välja ett förinställt alternativ.
18
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
Figur. 9: Användargränssnitt
7.3
Programvara
När programmet tar emot ett ljud börjar den med att kontrollera hur många kanaler det
finns som den ska skicka ut ljudet igenom, en kanal i detta fall är en högtalare. För
varje kanal skapas sedan en buffert med 512 element, alla buffertar fylls på med samma
flytvärden från en del av ljudsignalen. Fortsättningsvis så itererar den genom alla kanaler
där den kan manipulera signalen med hjälp av antingen FFT-algoritmen eller JUCE’s
inbyggda högpass/lågpassfilter, hur dessa delar fungerar beskrivs nedan. När flyttalen
har manipulerats på önskat vis skickar vi sedan ut buffertarna i rätt kanal så vibrationer
känns. Slutligen fyller den på med de 512 nästkommande flyttal. Programmet har en
samplingsfrekvens på 44100 Hz så den kommer alltså att ta in flyttal med en hastighet på
44100 värden i sekunden.
FFT-manipulation
FFT-algoritmen fungerar genom att först kopiera in bufferten i en ny array som har dubbla
storleken, d.v.s. 1024 element på grund av att algoritmen kommer göra om alla värden till
komplexa tal. Sedan skickas arrayen in i algoritmen där den nu hamnar i frekvensdomänet
med frekvensfack på ca 43 Hz.
19
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
Frekvensfack =
Samplingsfrekvensen (44100)
Storlek på array (1024)
När den väl är i frekvendomänet läser den av dem värden från gränssnittet där den ska
kapa frekvenser vid, får den till exempel in att den ska kapa vid 500 Hz och uppåt letar
den efter rätt frekvensfack med hjälp av:
Frekvens
Frekvensfack
Eftersom arrayen innehåller komplexa tal måste den hoppa varannat tal då det reella talet
efterföljs av sitt tillhörande imaginära tal och de tillsammans representerar ett frekvensfack.
Därefter nollar den alla värden som ligger i arrayen från indexet och uppåt, samma sak
gör den om den ska filtrera allt som ligger under en viss frekvens. Slutligen använder den
inversen av FFT-algoritmen och kopierar in den i sin rätta buffert som sedan skickas ut
till rätt kanal.
Index att filtrera vid =
Figur. 10: Ett exempel som stegvis förklarar hur FFT tar emot från bufferten och skickar
sedan ut i en kanal.
20
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
IIR-filter
JUCE’s inbyggda lågpass/högpassfilter kan användas direkt på bufferten. Programmet
tar emot de värden från reglagen där användaren önskar att filtrera frekvenserna, sedan
kommer den att använda lågpassfiltret på det övre reglaget så den får kvar frekvenser
från 0 upp till valt värde. Detsamma gäller för högpassfiltret fast med det undre reglaget.
Resultatet blir att vi får ut det frekvenserområde som ligger mellan reglagen.
7.4
Stereohaptics-kit
För att kunna undersöka hur olika vibrationer uppfattas mot kroppen har vi fått använda
ett Stereohaptics-kit från Disney Research [21]. Kitet består av två stycken högtalare
samt en förstärkare till dessa. Kitets högtalare påminner om vanliga elektrodynamiska
högtalare, men med viss modifikation. Först och främst är storleken på högtalarna endast
3x3cm, och kan därför rymmas i handen. Vidare så är den karaktäristiska konen avlägsnad,
vilket resulterar i att högtalarna kan komma närmre huden än vad en normal högtalare är
kapabel till.
(a) Högtalare
(b) Högtalare och förstärkare
Figur. 11: Stereohaptic-kit från Disney research
7.5
Undersökning av artefakt
Det som följer här är en förklaring av hur vi utvärderade Stereohaptics-kitet och programvara i form av en undersökning.
För att utvärdera vår programvara i kombination med Stereohaptics-kitet ställde vi
upp en ny undersökning. Målet var att undersöka hur pass väl det gick att känna skillnad på olika ljudkällor och tonhöjder beroende på hur programvara manipulerade ljudet.
Undersökningen genomfördes den här gången på en grupp bestående av enbart hörande.
Deltagarna informerades först om upplägget för undersökningen, och fick sedan sätta på
sig ett par hörlurar som spelade upp "brunt brus". Hörlurarnas funktion var att stänga ute
eventuellt ljudläckage som kom från högtalarna så att undersökningen ej skulle påverkas
av att deltagarna kunde höra vad det var för ljud som spelades upp. Undersökningen
fortsatte sedan som följer: ett ljud spelades upp två gånger, först via FFT-filtrering och
sedan med ett IIR-filter, varpå deltagarna fick svara på vilken av dessa varianter de helst
ville genomföra resten av undersökningen med. Efter detta inledande val påbörjades den
egentliga undersökningen. Deltagarna fick besvara totalt 12 frågor baserade kring sex
stycken jämförelser av ljud, genomförda två gånger, dels helt ofiltrerat och dels där den
ena högtalaren endast spelade upp frekvenser mellan 20-500Hz och den andra spelade upp
frekvenser från 500Hz och uppåt. För att genomföra jämförelsen spelades först ett ljud upp
som referensljud. Efter det spelades ytterligare två ljud upp i slumpvald ordning, det ena
ljudet var samma som referensen, medan det andra ljudet skiljde sig från det. Deltagarna
21
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
fick efter att ljuden spelats upp säga vilket av ljud två eller tre som de trodde var samma
som referensljudet. detta genomfördes två gånger för varje grupp av ljud, först ofiltrerat
och sedan med filter pålagt, för att jämföra om det ena erbjöd bättre möjlighet att skilja
dem åt än det andra.
• Test 1: El-bas, tonerna E och A
• Test 2: Trumset, baskagge och virveltrumma
• Test 3: Gitarr, C-dur ackord och C-moll ackord
• Test 4: El-bas och gitarr, tonen G och G-dur ackord
• Test 5: El-bas, skala, F och A
• Test 6: Piano och gitarr, C-moll ackord
8
Resultat
Nedan presenterar vi resultaten vi har fått ut från de olika delmomenten i arbetet. Vi
börjar med resultatet från undersökning 1 och berättar om hur och var dem olika ljuden
för varje grupp kändes, därefter följer resultatet från undersökningen av artefakten.
8.1
Undersökning 1
• Grupp 1: Responsen blev att det framför allt var bålen som uppfattade dessa toner,
och då främst bröstkorg samt övre delen av ryggen, men även låren till viss del.
Tyvärr var det ingen av deltagarna som besvarade frågan gällande om de olika tonerna
gick att särskilja.
• Grupp 2: Deltagarna kände främst av ljuden kring bröst och mage, men även i lår
och axlar. Det finns även indikationer som pekar på att de olika ljuden kändes olika
även om det skulle behöva undersökas närmre för att fastslå att detta stämmer. Det
som leder till dessa slutsatser är svar så som, "ljud 5 - lite tungt", "ljud 7 - vass bas",
"ljud 6 & 7 -...lite hård ton".
• Grupp 3: Den ena deltagare uppfattade bägge ljuden över hela bålen, medan den
andra deltagaren kände av det första ljudet främst kring mage och ländryggen och det
andra i bröst och lår. Det första ljudet, durackordet, beskrevs som mer avslappnande,
och det andra ljudet som var ett moll ackord beskrevs som att det inledningsvis gick
att känna av mer svängningar i ljudet för att sedan mattas av och efterlikna det
första.
• Grupp 4: Det första ljudet som spelades upp, dissonansen, var det som upplevdes som
"skönast", vilket är intressant då det för hörande snarare skulle vara tvärtom då ett
rent intervall upplevs som mer behagligt att lyssna på. En anledning till detta torde
kunna bero på att en dissonans mellan två ljud skapar större svängningar än vad ett
rent intervall gör och resulterar därför i starkare vibrationer, och då vibrationerna
är det enda som deltagarna upplever så leder dissonansen till vad som tycks vara ett
behagligare resultat.
• Grupp 5: Svaren på denna ljudgrupp var en aning vaga och det var främst var på
kroppen ljuden kändes som besvarades, vilket var till huvudsak kring mage och lår,
men delvis även bröst och axlar.
22
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
• Grupp 6: Ur svaren gick det att utläsa att den första skalan främst kändes från ben
upp till mage, och den andra skalan från mage upp mot halsen. Den ena deltagaren
svarade även att de båda skalorna kändes som att de spelade på ungefär samma sätt,
det framgår dock inte om det som avses är tonhöjden eller timingen.
• Grupp 7: Deltagarna svarade att dem fyra första ljuden kändes mest i och kring magen medan de två efterkommande ljuden ej gick att detektera. Resultatet av trumpkompen blev att ingen märkbar skillnad uppfattades och att bägge trumkompen
framför allt kändes i området kring magen. Med det sista ljudet svarade deltagarna
att ljudet kändes i nästan hela kroppen, ett svar som känns rimligt då ett väldigt
stort frekvensomfång täcktes in när samtliga instrument ingick.
8.2
Undersökning 2
Totalt sex personer i ålderspannet 23-64 år deltog i utvärderingen, samtliga med normal
hörsel. Fem stycken föredrog IIR-filtreringen framför FFT varianten. För de ofiltrerade
ljuden låg snittet för antalet rätt svar på 61% hos deltagarna medan det för filtrerade ljud
låg på 74,7%, mer exakta värden går att se i tabell 1. Genomförandet av undersökningen
tog ca 30 minuter per deltagare. Sett till den statistiken som går att utläsa ur utvärderingen
så pekar den på att en filtrering av ljuden leder till en bättre uppfattning om hur dessa
skiljer sig åt.
Ljud:
Test 1
Test 2
Test 3
Test 4
Test 5
Test 6
Ofiltrerat
66,7%
66,7%
50%
66,7%
50%
66,7%
Filtrerat
83,3%
83,3%
100%
83,3%
16,7%
83,3%
Tabell 1: Antalet rätta svar i procent av utvärderingen
9
9.1
Diskussion
Undersökning 1
Det som går att utläsa ur resultaten för undersökningen är att det går att se vissa likheter
hos deltagarna mellan vilket ljud som spelas och var på kroppen det ljudet har störst
inverkan. Det huvudsakliga området där deltagarna upplevde att ljudet kändes är kring
bröstkorg och mage samt övre halvan av ryggen, medan vissa ljud även kändes i låren.
Tyvärr så medför det ytterst begränsade deltagarantalet i studien att det inte går att
dra några konkreta slutsatser kring relevansen i dessa resultat, även om det går att se
likheter mellan de olika deltagarnas perception.
Målet med undersökningen var i första hand att ta reda på om det fanns någon koppling
mellan ett visst ljud och om en viss del av kroppen är mer mottaglig för att uppfatta ljudets
frekvenser. Vår förhoppning var att hitta likheter i svaren från de olika deltagarna, för att
kunna bekräfta kopplingen mellan ett ljud och vilken kroppsdel det ljudet triggar. Det här
är relevant eftersom om detta hade bekräftas skulle det kunnat resultera i konstruktionen
av en generell prototyp, där parametrar så som högtalarplacering och frekvensfiltrering
kunnat vara mer permanenta. Det hade även inneburit att den första frågeställningen,
23
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
gällande möjligheten att återskapa samma förutsättningar hos en döv som hos en hörande
vid utövandet av musik, lättare kunnat besvaras. Detta då vetskapen om hur olika ljud
känns vid olika platser på kroppen, skulle kunna indikera att dessa via ett hjälpverktyg då
går att förtydliga eller förstärka genom att manipulera ljudet.
Eftersom undersökningen bara bestod av två stycken deltagare så blir dock dessa saker
svåra att påvisa, speciellt då det inte ens mellan dessa två gick att hitta en röd tråd genom
alla svar, åtminstone inte utifrån de svar som getts. Dessa var dessvärre relativt otydliga
till och från, och baserat på vad det är vi efterfrågar och vad som faktiskt har svarats
finns det mycket som pekar på att en del av frågorna misstolkats, trots våra intentioner
om att vara så tydliga som möjligt. Genom hela undersökningen fördes det en dialog
med deltagarna där betydligt mycket mer information om det vi eftersökte presenterades,
något som dock gick förlorat när det skulle formuleras i text, vilket har fått oss att inse att
undersökningen hade tjänat på att ha ett annat upplägg vad gäller insamlingen av svar.
Det vi i efterhand diskuterat är att en videoupptagning av hela undersökningen, alternativt
ett tydligare, mer uppstyrt och välspecificerat upplägg av svarsenkäten, hade kunnat ge en
mer tydlig bild av hur ljuden faktiskt uppfattades. Undersökningen genomfördes dessutom
på båda deltagarna samtidigt, vilket innebär att det finns en risk för att dem kan ha haft
en mer eller mindre omedveten inverkan på varandras svar då diskussioner emellan dem
uppstod angående hur olika ljud upplevdes. Det hade varit intressant att se hur svaren
sett ut om undersökningen genomförts på deltagarna individuellt, något som tyvärr ej var
möjligt på grund av deltagarnas scheman och vår tidsbrist inför deadline.
Sammanfattningsvis så får vi konstatera att det ej går att dra några konkreta slutsatser kring resultatet ur denna undersökning, på grund av de otydligheter samt övriga
omständigheter som beskrivits, så leder det till att det mestadels blir en tolkningsfråga när
det kommer till att tyda resultaten. Detta medför att den första frågeställningen, baserat
på detta underlag, förblir ett lika stort frågetecken som innan undersökningen genomfördes
ur en vetenskaplig synvinkel. Med det sagt så har den ändå, i och med de diskussioner som
uppstod men som ej finns dokumenterade, gett en positiv känsla vad gäller möjligheterna
för en döv att utöva ett instrument under förutsättningar som påminner om de som en
hörande har.
9.2
Undersökning 2
Den ursprungliga planen för utvärderingen av artefakten var att den skulle baseras kring det
underlag som samlades in från undersökningen med den döva deltagargruppen. Tanken var
då att högtalarna som ingick i prototypen skulle placeras i enlighet med de svar vi samlat
in för att se hur det gick att förstärka och filtrera olika ljud och frekvenser för att på så vis
se om detta skulle kunna bidra till att ge ljuden en tydligare karaktär när de endast kan
upplevas i form av vibrationer. I och med all problematik som uppstod vid konstruktionen
av den tänkta prototypen så fick dessa planer justeras och anpassas utifrån de verktyg som
istället stod till vår förfogande, nämligen Stereohaptics-kitet. Även fast detta kit har varit
oss till stor hjälp så innebar detta att vi blev till viss mån begränsade i och med att vi nu
enbart hade tillgång till två kanaler och att de, på grund av deras relativt små dimensioner
inte hade möjlighet att generera den ljudstyrka som vi behövde. Vi valde därför att
genomföra utvärderingen med högtalarna placerade på deltagarnas handflator, detta för
att händerna är en del av kroppen med väldigt hög perception, och vårt huvudsakliga mål
med utvärderingen blev att undersöka om det var möjligt att avgöra om olika ljud gick att
särskilja. Att vi till utvärderingen endast hade med hörande personer när arbetet handlar
om hjälpverktyg för döva beror i första hand på att ingen av de döva vi hade kontakt
med hade möjlighet att delta vid tillfället för utvärderingen. I och med de justeringar vi
24
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
behövt göra så var det här dock av mindre betydelse då vi till skillnad från undersökningen
kunde genomföra detta med hörande personer. Detta berodde främst på att med endast två
kanaler och relativt lågt ljudtryck fanns ingen risk för att deltagarna skulle kunna uppfatta
det ljudläckage som uppstod från högtalarna när de hade hörlurarna med brus på sig. På
så vis fick vi möjlighet att utvärdera skillnaderna i vibrationer ändå. Att deltagarna inte
bestod av några döva skulle kunna ses som både positivt och negativt. Det negativa vi kan
se är att i och med att döva är vana vid att uppfatta ljud via vibrationer så innebär det
att de förmodligen skulle kunna känna skillnad mellan dem olika ljuden bättre än vad en
hörande kan. Detta skulle dock även kunna ses som positivt, speciellt eftersom resultaten
pekar på att deltagarna ändå klarade av att svara rätt i mer än 60% av fallen så bör en
liknande undersökning med enbart döva kunna resultera i ett ännu högre resultat. Som
motargument till detta så kan man åt andra sidan tänka sig att hörande konsumerat musik
i en betydligt högre grad än döva och har på så vis en undermedveten perception av hur
olika ljud känns. Ett exempel som kan stödja detta är en av deltagarna i utvärdering som
är musiker, deltagaren kunde utan större problem separera majoriteten av ljud vilket inte
känns orimligt då personen spenderat många timmar i närhet till musik.
Av de två singalbehandlingsmetoder vi använde oss av var det IIR-filtert som hade
den bästa upplevelsen i form av vibrationer, något av ett väntat resultat efter att ha
testat både högtalare och filter på egen hand under implementationsfasen. Till skillnad
från FFT-algoritmen och hur den applicerades så är det inbyggda IIR-filtrena i JUCE
faktiskt gjort för att kunna filtrera bort frekvenser som inte önskas vara med. När vi
filtrerar frekvenserna med hjälp av FFT-algoritmen kommer vi inte kunna få den mjuka
avtagningen vid en viss frekvens som med IIR-filtret och därför innehöll ut-signalen från
FFT mer ljudartefakter vilket i slutändan resulterar i att vibrationerna ej överensstämmer
med det ljud som kommer som input.
9.3
Diskussion - sammanfattning
Frågeställningarna som sattes upp för detta arbete förblir tyvärr till en hög grad obesvarade. Eftersom både underlaget och prototypen som hade behövts för att utvärdera dessa
till fullo var alldeles för bristfälliga så går det endast att spekulera kring dem baserat på
den knapphändiga information som vi lyckades samla in. Det som går att säga gällande
den första frågeställningen baserat på den data vi samlat in är att det bör vara möjligt att
till en viss gräns erbjuda, om inte liknande, så åtminstone förutsättningar som ligger en
bra bit över de grundförutsättningar en döv har när det kommer till att tolka och urskilja
olika ljud. Det skulle förmodligen krävas en stor portion övning för att lära sig skilja på
olika ljudkällor och tonhöjder, precis som det är för en hörande som lär sig ett instrument. Detta är något vi baserar på den erfarenhet vi samlat på oss under arbetets gång,
och innebär att för att verkligen kunna utvärdera ett verktyg av den här typen fullt ut
så skulle det behöva ske under en betydligt längre tidsperiod än vad som varit avsatt för
detta arbete. Vad gäller den andra frågeställningen så kan vi bara konstatera att av de två
varianter vi prövade så var det via IIR-filter som vi fick bäst resultat, detta innebär ju dock
inte att detta nödvändigtvis är den bästa metoden för att maximera upplevelsen. Dels så
finns det säkerligen fler metoder och olika sorters filter som klarar av att göra samma sak
som de vi prövat, men det finns även olika sätt att manipulera och finjustera dessa, vilket
innebär att för att verkligen besvara denna frågeställning så behöver en mer omfattande
jämförelse genomföras. Vi hade för vår utvärdering (undersökning 2) dessutom endast en
sorts filtrering (vid 500 hz) och sannolikheten är stor att olika filter klarar av att hantera
filtreringar vid olika frekvenser på sätt som är mer eller mindre fördelaktiga beroende på
vid vilken frekvens det sker, något som vi ej har testat. Detta kan till exempel vara fil25
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
ter som har olika antal dB som de avtar med, vilket säkerligen skapar olika upplevelser
gällande hur ljudet känns.
9.4
Högtalare
Det ursprungliga målet för arbetet var att bygga en artefakt bestående av modifierade
elektrodynamiska högtalare och inkludera Stereohaptics-kitet i denna för att på så vis
kunna göra en mer högupplöst upplevelse där ett ljuds frekvenser kunde separeras ut till
olika delar på kroppen och vår förhoppning var att på så vis skapa ett verktyg som gör att
det blir lättare kunna urskilja olika ljuds karaktär baserat på hur dess vibrationer känns.
Fyra stycken högtalare modifierades för att efterlikna i så hög utsträckning som möjligt de
högtalare som ingår i Stereohaptics-kitet, och det gjordes genom att avlägsna den pappkon som vanligtvis karaktäriserar en normal högtalare. Den omkringliggande stålramen
som konen var fäst i avlägsnades även den för att högtalaren skulle kunna komma så nära
kroppen som möjligt, och det som blev kvar var spolen och magneten, samt den mellanliggande upphängningen som håller spolen på plats i magneten. Dessa sex högtalare
skulle sedan placeras på kroppen baserat på den första undersökningen vi genomförde, med
målet att ta reda på hur olika frekvenser kändes på kroppen. När högtalarna väl skulle
börja testas i kombination med den framtagna programvaran uppstod stor problematik då
alla fyra högtalare var passiva och därför behöver separat strömmatning för att fungera.
Detta var något som det tilltänkta ljudkortet inte klarade av och vi tog därför beslutet
att konstruera förstärkare på egen hand. Den främsta anledningen till detta berodde på
att varje högtalare behöver kunna matas med en separat signal och de färdiga förstärkare
som fanns att tillgå saknade denna möjlighet. Efter viss efterforskning, kombinerat med
vad för typ av komponenter som fanns att tillgå med kort varsel, så beslutade vi oss för
att bygga vår förstärkare med ic-kretsen lm324. lm324 är en så kallad op-amp krets vars
uppgift passande nog är att förstärka en signal, den är även av typen "quadruple" vilket
innebär att fyra separata signaler kan förstärkas via samma krets vilket får anses som optimalt då vi hade fyra högtalare som behövde förstärkning. Efter några inledande snedsteg
byggdes en fungerande prototyp av förstärkaren på en breadboard och när detta väl var
avklarat så inleddes nästa fas, vilket var att överföra konstruktionen till en protoboard då
breadboard-prototypen var alldeles för känslig för att transportera runt, vilket skulle krävas till utvärderingen av arbetet. En protoboard är en kretskortsliknande lösning där man
kan löda fast alla sin komponenter och på så vis få en mer stabil och konkret konstruktion,
något vi behövde för att ha en mer mobil lösning inför utvärderingen. Dessvärre fick vi
aldrig den kretskortsliknande varianten att fungera och då ingen av oss besitter mer än
väldigt begränsade kunskaper om elektronik, samt det faktum att den första konstruktionen tog så pass lång tid att bygga att vi helt enkelt inte hade tid att göra om det, så tog
vi beslutet att enbart jobba vidare med Stereohaptics-kitet.
26
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
(a)
(b)
Figur. 12: Högtalare & kretskort - (a) Till vänster i bild, de modifierade högtalarna och
till höger, breadboard förstärkaren. (b) förstärkaren monterad på perfboard
10
Slutsatser
Även om vår ursprungliga plan för att utvärdera detta arbete aldrig realiserades så finns
det ändå saker som pekar på att detta är ett område som har stor utvecklingspotential.
Vår utvärdering resulterade i en relativt hög kvot med korrekta svar - 74% för det filtrerade ljudet - gällande att särskilja olika ljud. Detta åstadkoms med endast två högtalare
där separationen mellan frekvensområden blev begränsat till endast två, ett område per
högtalare. Då dessa resultat gick att prestera med enbart två högtalare och en filtrering
så är våra förhoppningar stora att en eventuell uppskalning med fler högtalare och större
möjligheter till fördelningen av frekvenser skulle kunna leda till ännu bättre resultat. Det
som även går att utläsa ur utvärderingen är att deltagarna föredrog IIR-filtreringen framför
FFT-filtreringen, ett resultat som egentligen inte förvånar då sättet som FFT-filtreringen
appliceras på ej är optimalt.
10.1
Framtida arbete
Då arbetet slutligen bara involverade två stycken högtalare finns det gott om utrymme för
en expandering av detta arbete. Att på en uppskalade variant, bestående av ett större antal
högtalare där möjligheterna till frekvensuppdelning är betydligt större, jobba vidare mot
ett fungerande verktyg skulle vara intressant. Utvecklingsmöjligheterna för programvaran
som står i anslutning till detta verktyg bör också vara stora, då mängden sätt att filtrera
och manipulera ljud på är enorm.
27
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
Referenser
[1] B. La Versa, I. Peruzzi, L. Diamanti, and M. Zemolin, “Muvib: music and vibration,”
in Proceedings of the 2014 ACM International Symposium on Wearable Computers:
Adjunct Program, pp. 65–70, ACM, 2014.
[2] “Deafness and hearing loss.” http://www.who.int/mediacentre/factsheets/fs300/
en/, Februari 2017. [Online] Hämtad 2017-04-18.
[3] S. A. Gelfand, Hearing: An introduction to psychological and physiological acoustics,
vol. 5. Informa Healthcare, 2009.
[4] C. Taylor and M. Campbell, “Sound.” http://www.oxfordmusiconline.com.ep.bib.
mdh.se/subscriber/article/grove/music/26289. Grove Music Online. Oxford Music Online. Oxford University Press. [Online] Hämtad 2017-05-21.
[5] H. F. Olson, Music, physics and engineering, vol. 1769. Courier Corporation, 1967.
[6] D. Robinson and G. Sutton, “Age effect in hearing-a comparative analysis of published
threshold data,” Audiology, vol. 18, no. 4, pp. 320–334, 1979.
[7] A. Bergenson, Musiklära. Stockholm: Abr. Lundquists musikförl., 3 ed., 1929.
[8] “The authoritative dictionary of ieee standards terms.” http://ieeexplore.ieee.
org.ep.bib.mdh.se/stamp/stamp.jsp?arnumber=4116787, 2000. [Online] Hämtad
2017-05-24.
[9] J. Borwick, “Acoustics.” http://www.oxfordmusiconline.com.ep.bib.mdh.se/
subscriber/article/opr/t114/e53. The Oxford Companion to Music. Ed. Alison
Latham. Oxford Music Online. Oxford University Press.[Online] Hämtad 2017-05-21.
[10] G. Ballou, Handbook for sound engineers. Taylor & Francis, 2013.
[11] M. Achibet, B. Le Gouis, M. Marchal, P.-A. Léziart, F. Argelaguet, A. Girard,
A. Lécuyer, and H. Kajimoto, “Flexifingers: Multi-finger interaction in vr combining passive haptics and pseudo-haptics,” in 3D User Interfaces (3DUI), 2017 IEEE
Symposium on, pp. 103–106, IEEE, 2017.
[12] Y. Takeuchi, S. Kamuro, K. Minamizawa, and S. Tachi, “Haptic duplicator,” in Proceedings of the 2012 Virtual Reality International Conference, p. 30, ACM, 2012.
[13] S. W. Smith, The Scientist and Engineer’s Guide to Digital Signal Processing. San
Diego, CA, USA: California Technical Publishing, 1997.
[14] P. Duhamel and M. Vetterli, “Fast fourier transforms: a tutorial review and a state of
the art,” Signal processing, vol. 19, no. 4, pp. 259–299, 1990.
[15] J. G. Proakis and D. G. Manolakis, “Digital signal processing: principles algorithms
and applications,” 2001.
[16] J. W. Cooley and J. W. Tukey, “An algorithm for the machine calculation of complex
fourier series,” Mathematics of computation, vol. 19, no. 90, pp. 297–301, 1965.
[17] Wikipedia, the free encyclopedia, “Low-pass filter.” https://upload.wikimedia.org/
wikipedia/commons/e/e9/Butterworth_response.png. [Online] Hämtad 2017-0607.
28
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
[18] S. Nanayakkara, E. Taylor, L. Wyse, and S. H. Ong, “An enhanced musical experience for the deaf: design and evaluation of a music display and a haptic chair,”
in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,
pp. 337–346, ACM, 2009.
[19] B. Petry, T. Illandara, and S. Nanayakkara, “Muss-bits: sensor-display blocks for deaf
people to explore musical sounds,” in Proceedings of the 28th Australian Conference
on Computer-Human Interaction, pp. 72–80, ACM, 2016.
[20] E. Gunther and S. O’Modhrain, “Cutaneous grooves: composing for the sense of
touch,” Journal of New Music Research, vol. 32, no. 4, pp. 369–381, 2003.
[21] S. Zhao, Z. Schwemler,
interactions using audio
Conference on Tangible,
NY, USA), pp. 778–781,
A. Fritz, and A. Israr, “Stereo haptics: Designing haptic
tools,” in Proceedings of the TEI ’16: Tenth International
Embedded, and Embodied Interaction, TEI ’16, (New York,
ACM, 2016.
29
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
Bilagor
Ljudgrupper
Grupp:
1
2
3
4
5
6
7
Instrument
Elbas
Elgitarr
Piano(ettstrukna
oktaven)
Elbas
(Dissonans)
Elbas (Kvint)
Bas
Piano(ettstrukna
oktaven)
Gitarr
Ton/Ackord
E, A, G
D-Dur
D-Moll
A-Dur
Toner
E, A, G
D, A, D, F#
D, A, D, F
A, E, A, C#, E
E-Moll
E, B, E, G, B, E
C-Dur
C, E, G
Frekvens*
41, 55, 49
147, 220, 294, 370
147, 220, 294, 349
110 , 165, 220,
277, 330
82, 123, 165, 196,
247, 330
262, 330, 392
C-Moll
E/F
C, D#, G
E/F
262, 311, 392
41/44
C/G
E
E-Dur
C/G
E
E, G#, B
65/98
41
330, 415, 494
E-Dur
E, B, E, G#, B,
E
E(bas), E, B, E,
G#, B, E
E(bas), E, G#, B
82, 123, 165, 208,
247, 330
-
Bas/Gitarr
E-Dur
Bas/Piano
Bas (Skala)
E-Dur
A, C, D, E, G, A,
C, D
Bas (Skala)
F, G#, Bb, C,
D#, F, G#, A#
-
Baskagge
Virvel
HiHat
Trumset
Slinga
-
110 , 131, 147,
165, 196, 220,
262, 294
87, 104, 117, 131,
156, 175, 208, 233
>50
>50
>120
>120
>?
>?
-
Tabell 2: Ljudgrupperna som användes till den första undersökningen
*med frekvens avses grundtonens frekvens
30
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
Grupp 1 - El-bas
Den första ljudgruppen bestod av tonerna E, A, G, spelade på en el-bas. Syftet med den
första gruppen var att ta reda på dels var i/på kroppen dessa ljud har störst inverkan, men
även ta reda på om det gick att särskilja dem åt rent tonhöjdsmässigt.
Grupp 2 - Gitarr
Den andra gruppen innehöll 4 stycken gitarrljud där vart och ett var antingen ett dur eller
ett moll ackord, ackorden som spelades upp var följande: D-dur, D-moll, A-dur och E-moll.
Precis som med den första gruppen så var det på vilken del av kroppen som dessa ljud
kändes mest samt om det gick att känna någon skillnad mellan de olika ljuden som var av
intresse.
Grupp 3 - Piano
I den tredje ljudgruppen bestod ljudkällan av olika pianoackord. det som spelades upp var
först ett C-dur följt av ett C-moll och det som skulle besvaras var dels hur dessa kändes,
men även om det gick att uppfatta någon skillnad mellan dem.
Grupp 4 - Intervall
Med ljudgrupp nr 4 ville vi undersöka hur olika intervall som spelades samtidigt uppfattades. det första intervallet bestod av tonerna E och F, vilket är två toner som ligger direkt
efter varandra och skapar en stark dissonans. Det andra intervallet kan ses som raka motsatsen till en dissonans och bestod av tonerna C och G, ett intervall som på musikspråk
kallas för en ren kvint.
Grupp 5 - Instrumentkombinationer
I den femte ljudgruppen spelades 5 stycken ljud upp, och samtliga ljud spelade samma
ackord, E-dur (bortsett från el-basen som endast spelade grundtonen E). De tre första
ljuden spelades på el-bas, piano och gitarr i denna ordning, och de två sista ljuden var
kombinationer av först el-bas och gitarr och sen el-bas och piano. Det som eftersöktes med
denna grupp var att se om de olika instrumenten och instrumentkombinationerna kändes
annorlunda jämfört med varandra.
Grupp 6 - Skalor
Innehållet i den näst sista gruppen bestod av två stycken skalor spelade på en el-bas.
Skalornas intervall var desamma men med olika toner som utgångspunkt, detta för att ta
reda på om det gick att känna skillnad på just toninnehållet när intervallen var samma för
bägge skalorna.
Grupp 7 - Trumset
Den sista ljudgruppen består av tre stycken underkategorier, först diverse trumljud, följt
av två identiska trumkomp spelade på två olika trumset och till sist en längre ljudslinga
bestående av samtliga instrument. I den första delen spelas först en baskagge upp följt
av virveltrumma och hihat, varje typ av trumma spelas dessutom upp två gånger då varje
inspelning finns i två exemplar i och med att två samplingar från två olika trumset använts
för att se om det går att känna någon skillnad dem emellan. Den andra delen av sista
31
Mälardalens högskola
Sebastian Pettersson, Kristoffer Palfi
gruppen bestod av två identiska trumkomp samplade från samma två trumset som i de
föregående ljuden, och syftet med det är detsamma som innan, att se om det gick att känna
skillnader emellan de två. Det allra sista ljudet som spelades var en ljudslinga bestående
av samtliga instrument där både trumkomp, ackord, bas-gång samt en melodislinga ingick.
32