sound waves obstacles

 

Mapping Sound to Color

What is Spectral Frequency display?

In the spectral view, also known as spectral frequency analysis, the audio is analyzed by the application and then it will display a view that is very colorful. The bottom represents the low bass register, and the higher frequencies are represented at the top. The brighter the color, the stronger it is in that region

you can convert color to sound.

No, orange doesn't have a particular frequency or sound. You can pick whatever mapping you want. Do you want orange be a specific sine frequency, or should it represent a square wave? You pick. AudioPaint and Coagula use the color of a pixel to determine the panning of the sound.

Spectrograms often use color to represent the amplitude of a frequency component. Software like Adobe Audition will do the inverse function to convert an image back into a sound.

I've been trying to go the opposite direction, using audio frequency content to determine color of a waveform:

This is the same method used by Freesound.org, using the spectral centroid of the sound to produce a monochromatic color, but shaded to try to show the density of the samples as well as the peak amplitude.

What I'd really like to do is map the spectrum of the sound onto the spectrum of the color, so a low frequency sine would be red, a high frequency sine would be blue, and a combination of both would be magenta. Last time I messed with it, I was trying to figure out a way to weight it so that logarithmic sine sweeps look like a rainbow, white noise is white, and pink noise is pink. I'm not sure if it's possible, though, because of the conflict between linear and logarithmic frequency axes.

Synesthesia

Researchers have sought a connection between sound and color for hundreds of years. Indeed, Isaac Newton’s famous seven-color spectrum (ROY G. BIV) is widely accepted now to be incorrect, and it has arisen that Indigo was included only because Newton felt so strongly that the number of colors in the color spectrum had to match the number of notes in Western music in order to be correct.i

There is speculation that Newton had the unique condition known as synesthesia in which the relationship between two or more senses is conjoined: a color may have a particular smell, musical intervals may each have a specific taste, or letters or days of the week may have a corresponding color.

ii According to the American Psychological Association, synesthesia affects one in every two thousand people.

iii While synesthesia can take many forms, there are thousands of instances where individuals “hear” color, that is, they may see a specific piece of music or a chord or scale as being blue or green. Interestingly the colors are not necessarily uniform across those with synesthesia that equates sound to color: One may see D major as blue, another as green, red, or yellow Vast amounts of research and analysis has already been done on composers with synesthesia and how the condition affected both their compositions and their approach toward writing. It is interesting how widely varied these composers’ perceptions are.

Spectral Representations of Sound

It’s actually a rare day that you’re not interacting with color as it applies to sound. Whether you’re mixing, designing, recording, there’s always a visual representation of what we hear beyond the waveforms created. The level meters in our DAWs, middleware and other tools describe a green to red gradient to denote amplitude. I’m not sure why the green to red gradient is used so frequently as a communicator of sound information. Perhaps it’s just an easy way to see differences. Maybe, it’s so ingrained cross-culturally because of similar elements like traffic lights. Or perhaps in the case of volume, red for clipping equates to the sound being too hot, but in that case I would expect a cool blue for quieter sounds. (Indeed many applications let you adjust the colors to your own liking). In addition to amplitude, coloration has also been around for decades in the means of spectral analysis which has long served as a handy way to visualize the frequency content of sound.

From creative tools like SpectraLayers and Iris, to audio cleanup and repair software like RX, color helps us read what’s going on in our sounds. For example, take this image of a waveform in RX of a fire engine passing by with sirens blaring:

We can see actually see the fundamental and harmonics of the siren across the entire frequency spectrum. Naturally, spectral analysis is exceptionally useful for audio restoration and cleanup because you can see where possible problem areas arise, but it’s fascinating just how much audio information is conveyed via a spectral image of a waveform.

Reaper, the increasingly popular DAW, provides some unique tools to allow you to visualize and edit spectral information from within your tracks. Spectral Edits is akin to a lightweight version of RX allowing you to see a spectral graph of your sounds and make edits to this spectral content, while Spectral Peaks colorizes your waveforms based on the dominant frequency content of the sound across time. You can even shift the color gradient across the frequency spectrum, so if you feel low frequencies sound more red or blue, you can adjust the setting accordingly. Both of these spectral features give us yet more ways to see the audio information behind our waveforms.

मैपिंग साउंड टू कलर

 

स्पेक्ट्रल फ्रिक्वेंसी डिस्प्ले क्या है?

वर्णक्रमीय दृश्य में, जिसे वर्णक्रमीय आवृत्ति विश्लेषण के रूप में भी जाना जाता है, ऑडियो का विश्लेषण अनुप्रयोग द्वारा किया जाता है और फिर यह एक दृश्य प्रदर्शित करेगा जो बहुत रंगीन है। नीचे निम्न बास रजिस्टर का प्रतिनिधित्व करता है, और उच्च आवृत्तियों का शीर्ष पर प्रतिनिधित्व किया जाता है। रंग जितना चमकदार होगा, वह उस क्षेत्र में उतना ही मजबूत होगा

आप ध्वनि में रंग परिवर्तित कर सकते हैं।

नहीं, नारंगी में एक विशेष आवृत्ति या ध्वनि नहीं है। आप जो चाहें मैपिंग चुन सकते हैं। क्या आप चाहते हैं कि नारंगी एक विशिष्ट साइन आवृत्ति हो, या इसे एक वर्ग तरंग का प्रतिनिधित्व करना चाहिए? आप उठाएं। ऑडियोपेंट और कोगुला ध्वनि की पैनिंग निर्धारित करने के लिए पिक्सेल के रंग का उपयोग करते हैं।

स्पेक्ट्रोग्राम अक्सर आवृत्ति घटक के आयाम का प्रतिनिधित्व करने के लिए रंग का उपयोग करते हैं। एडोब ऑडिशन जैसे सॉफ्टवेयर एक छवि को वापस ध्वनि में बदलने के लिए उलटा कार्य करेंगे।

मैं एक तरंग के रंग का निर्धारण करने के लिए ऑडियो आवृत्ति सामग्री का उपयोग करके, विपरीत दिशा में जाने की कोशिश कर रहा हूं:

यह एक ही विधि है जिसका उपयोग Freesound.org द्वारा किया जाता है, एक मोनोक्रोमैटिक रंग का उत्पादन करने के लिए ध्वनि के वर्णक्रमीय केन्द्रक का उपयोग करते हुए, लेकिन नमूनों के घनत्व के साथ-साथ शिखर आयाम को दिखाने की कोशिश करने के लिए छायांकित किया जाता है।

मैं वास्तव में क्या करना चाहूंगा, ध्वनि के स्पेक्ट्रम को रंग के स्पेक्ट्रम पर मैप करना है, इसलिए कम आवृत्ति साइन लाल होगा, उच्च आवृत्ति साइन नीला होगा, और दोनों का एक संयोजन मैजेंटा होगा। पिछली बार मैंने इसे गड़बड़ किया था, मैं इसे वजन करने का एक तरीका निकालने की कोशिश कर रहा था ताकि लॉगरिदमिक सीन स्वीप इंद्रधनुष की तरह दिखें, सफेद शोर सफेद हो, और गुलाबी शोर गुलाबी। मुझे यकीन नहीं है कि यह संभव है, हालांकि, रैखिक और लॉगरिदमिक आवृत्ति अक्षों के बीच संघर्ष के कारण।

 

सिन्थेसिया

शोधकर्ताओं ने सैकड़ों वर्षों से ध्वनि और रंग के बीच संबंध की मांग की है। वास्तव में, आइजैक न्यूटन के प्रसिद्ध सात-रंग स्पेक्ट्रम (ROY G. BIV) को व्यापक रूप से अब गलत माना जाता है, और यह उत्पन्न हुआ है कि इंडिगो को केवल इसलिए शामिल किया गया था क्योंकि न्यूटन ने इतनी दृढ़ता से महसूस किया था कि रंग स्पेक्ट्रम में रंगों की संख्या का मिलान करना था। सही होने के लिए पश्चिमी संगीत में नोटों की संख्या

अटकलें लगाई जा रही हैं कि न्यूटन के समकालिकता के रूप में ज्ञात अनोखी स्थिति थी जिसमें दो या दो से अधिक इंद्रियों के बीच के संबंध को मिलाया जाता है: एक रंग में एक विशेष गंध हो सकती है, संगीत अंतराल प्रत्येक में एक विशिष्ट स्वाद, या पत्र या सप्ताह के दिन हो सकते हैं। एक इसी रंग।

ii। अमेरिकन साइकोलॉजिकल एसोसिएशन के अनुसार, हर दो हजार लोगों में से एक को सिन्थेसिया प्रभावित करता है।

iii। जबकि सिन्थेसिया कई रूप ले सकता है, ऐसे हजारों उदाहरण हैं जहां व्यक्ति "सुन" रंग लेते हैं, अर्थात्, वे नीले या हरे रंग के रूप में एक विशिष्ट संगीत या कॉर्ड या स्केल देख सकते हैं। दिलचस्प रूप से रंग अनिवार्य रूप से समानार्थी के साथ उन लोगों के बीच समान नहीं होते हैं जो रंग के साथ ध्वनि को समान करते हैं: एक डी को नीले रंग के रूप में देख सकता है, दूसरे को हरे, लाल, या पीले रंग के विशाल मात्रा में अनुसंधान और विश्लेषण की मात्रा पहले से ही सिंथेसिस के साथ और कैसे किया गया है हालत उनकी रचनाओं और लेखन के प्रति उनके दृष्टिकोण दोनों को प्रभावित करती है। यह दिलचस्प है कि इन रचनाकारों की धारणाएँ कितनी व्यापक हैं।

 

ध्वनि के वर्णक्रमीय प्रतिनिधि

यह वास्तव में एक दुर्लभ दिन है कि आप रंग के साथ बातचीत नहीं कर रहे हैं क्योंकि यह ध्वनि पर लागू होता है। चाहे आप मिक्सिंग, डिज़ाइनिंग, रिकॉर्डिंग कर रहे हों, हमारे द्वारा बनाई गई तरंगों से परे जो कुछ भी हम सुनते हैं उसका हमेशा एक दृश्य प्रतिनिधित्व होता है। हमारे DAWs, मिडलवेयर और अन्य उपकरणों में स्तर मीटर आयाम को निरूपित करने के लिए एक हरे से लाल ढाल का वर्णन करते हैं। मुझे यकीन नहीं है कि ध्वनि जानकारी के संचारक के रूप में हरे से लाल ग्रेडिएंट का उपयोग इतनी बार क्यों किया जाता है। शायद यह मतभेदों को देखने का एक आसान तरीका है। हो सकता है, ट्रैफिक लाइट जैसे समान तत्वों की वजह से यह सांस्कृतिक रूप से क्रॉस-कंट्रेस्ड हो। या शायद वॉल्यूम के मामले में, क्लिपिंग के लिए लाल ध्वनि बहुत गर्म होने के बराबर है, लेकिन उस मामले में मुझे शांत ध्वनियों के लिए एक शांत नीले रंग की उम्मीद होगी। (वास्तव में कई एप्लिकेशन आपको अपनी पसंद के अनुसार रंगों को समायोजित करने देते हैं)। आयाम के अलावा, वर्णक्रमीय विश्लेषण के साधनों में दशकों से रंगाई भी होती रही है जो लंबे समय तक ध्वनि की आवृत्ति सामग्री की कल्पना करने के लिए एक आसान तरीका है।

स्पेक्ट्रालेयर्स और आईरिस जैसे रचनात्मक टूल से लेकर ऑडियो क्लीनअप और आरएक्स जैसे सॉफ्टवेयर की मरम्मत तक, रंग हमें हमारी ध्वनियों में क्या चल रहा है पढ़ने में मदद करता है। उदाहरण के लिए, सायरन ब्लरिंग से गुजरने वाले दमकल के आरएक्स में तरंग की इस छवि को लें:

हम वास्तव में पूरे आवृत्ति स्पेक्ट्रम में जलपरी के मौलिक और सामंजस्य को देख सकते हैं। स्वाभाविक रूप से, वर्णक्रमीय विश्लेषण ऑडियो बहाली और सफाई के लिए असाधारण रूप से उपयोगी है क्योंकि आप देख सकते हैं कि जहां संभव समस्या क्षेत्र उत्पन्न होते हैं, लेकिन यह आकर्षक है कि एक तरंग की वर्णक्रमीय छवि के माध्यम से कितना ऑडियो जानकारी व्यक्त की जाती है।

रीपर, तेजी से लोकप्रिय डीएडब्ल्यू, आपको अपनी पटरियों के भीतर से वर्णक्रमीय जानकारी की कल्पना और संपादित करने की अनुमति देने के लिए कुछ अद्वितीय उपकरण प्रदान करता है। स्पेक्ट्रल एडिट्स आरएक्स के एक हल्के संस्करण के समान है जो आपको अपनी ध्वनियों के एक वर्णक्रमीय ग्राफ को देखने और इस वर्णक्रमीय सामग्री को संपादित करने की अनुमति देता है, जबकि स्पेक्ट्रल चोटियां समय के साथ ध्वनि की प्रमुख आवृत्ति सामग्री के आधार पर आपके तरंगों को रंग देती हैं। तुम भी आवृत्ति स्पेक्ट्रम भर में रंग ढाल बदलाव कर सकते हैं, इसलिए यदि आपको लगता है कि कम आवृत्तियों अधिक लाल या नीले रंग की ध्वनि, तो आप तदनुसार सेटिंग समायोजित कर सकते हैं। ये दोनों वर्णक्रमीय विशेषताएं हमें अपनी तरंगों के पीछे की ऑडियो जानकारी को देखने के लिए और अधिक तरीके देती हैं।

Aparnavats

Assistant Professor

Graphics&Animation