Спектрограмма — это звук, разложенный на частоты и развёрнутый во времени: по одной оси идут секунды, по другой — высота, а цвет показывает громкость. На ней видно то, что ухо слышит, но не умеет назвать: обертоны скрипки, форманты гласных, трель птицы, удар бочки. По таким картинкам фонетики читают речь, орнитологи различают птиц, а Shazam узнаёт песню по созвездию самых ярких точек.
Как это устроено
Трек режется на короткие кусочки по 4096 отсчётов, каждый умножается на плавное окно Ханна и раскладывается быстрым преобразованием Фурье на синусоиды. Амплитуды переводятся в децибелы: верхние 80 дБ трека ложатся на палитру, а «Порог тишины» отрезает самые тихие. Частоты от 30 Гц до 16 кГц раскладываются по выбранной «Шкале частот»: линейной (512 полос), логарифмической, где каждая октава занимает одинаковое место (256), или мел, устроенной по слуху (128).
Здесь работает соотношение неопределённостей: чем длиннее окно, тем точнее частота, но тем сильнее размыто время. При 48 кГц окно длится 85 мс, а полосы стоят через 11,7 Гц — для высоких нот с запасом, но в басу полутон уже шага: от ля (55 Гц) до ля-диеза всего 3,3 Гц. Поэтому на логарифмической шкале низкие ноты расплываются, и генератор честно сглаживает их, а не рисует ступеньки.
Немного истории
Жозеф Фурье утверждал, что любую функцию можно разложить в сумму синусоид, и изложил это в «Аналитической теории тепла» (1822). В 1940-х в Bell Labs построили звуковой спектрограф, рисовавший «видимую речь» на бумаге. Шкалу мел предложили в 1937 году психоакустики Стэнли Стивенс, Джон Волкман и Эдвин Ньюман, а быстрый алгоритм Кули и Тьюки 1965 года сделал спектры дешёвыми. В 1999 году Aphex Twin спрятал в конце трека с сингла Windowlicker своё лицо — его видно только на спектрограмме.
Что покрутить
- Сравните «Шкалу частот»: на линейной вся музыка жмётся к низу, на логарифмической каждая октава занимает одинаковую полосу, как на клавиатуре, а мел ближе всего к слуху.
- «Форма» «спиралью» с 6–10 «Витками» сворачивает трек в дорожку пластинки, «по кругу» — в циферблат.
- «Порог тишины» и «Гамма» повыше оставляют только яркий скелет мелодии, «Октавные линии» разметят высоту, а эффект «Свечение» сверху превратит картинку в экран анализатора.
- Загрузите свой трек или включите микрофон: «вживую» спектрограмма побежит лентой. Из Студии трек приходит кнопкой «Визуализировать в „Узорах“», а видео со звуком («Скачать» → «Видео» → «Со звуком») прокручивается кадр в кадр с музыкой.
Волна
Хромаграмма
Осциллограф XY
Фигуры Хладни
Волны Фарадея