Мы с небольшой группой радиолюбителей получили доступ к одному из фондов ГДРЗ (приблизительно 20 тысяч лент), и решили оцифровать весь материал с целью выложить в свободный доступ для всех желающих. Мы ведем таблицу-каталог всех оцифрованных на данный момент записей, где каждый может выбрать интересные ему фонограммы и оставить заявку на них. Любой человек может оставить заявку на любое количество фонограмм.
Наш состав 5 человек и 5 аппаратов. Мы используем:
МЭЗ-109А 1 шт.
МЭЗ-109М 2шт.
STM-310 2шт.
Принятый формат оцифровок:
Разрядность - 24бит
Частота дискретизации - 96кГц (если имеются повреждения на ленте то частота дискретизации выбирается 192кГц)
Будем рады ответить на любые Ваши вопросы и предоставить интересующие Вас записи
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 12 июн 2022, 13:00
Sulphur
Правильно сделали, что не выбрали формат CD-DA для оцифровок.
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 12 июн 2022, 13:19
BillyDOS
Коллеги. Хотел бы сделать важное замечание. Все фонограммы из Базы по заявкам на почту или соцсети предоставляются бесплатно. Объём и количество запросов не ограничено
База пополняется ежедневно. Если поле копирайт у фонограммы имеет любой цвет отличный от серого - оно внесено в базу окончательно и доступно к запросу
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 12 июн 2022, 15:19
Shuare
А не хотите сделать что-то аналогичное arjlover? или вообще с ними скооперироваться? (мда - почитал Ваши объемы - в плане аудиозаписей это скорее arjlover с вашими записями надо кооперироваться ). Работа конечно адова - главное, чтобы потом это все не пропало из-за какого-нибудь рухнувшего сервера
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 12 июн 2022, 15:56
BillyDOS
По поводу сайта архива. В данный момент он в разработке. Планируется гибкий и удобный поиск, все данные о фонограммах будут храниться в базе данных и по всем отдельным критериям можно будет вести поиск, даже отдельно по персоналиям, если они указаны на бирке. В общем - удобный и продвинутый поиск в который можно будет вбить любые данные. Пока пример могу предоставить вот такой: https://audio.retro-archive.ru/index.php?p=record&id=1
Вся информация (редакция, длительность, авторы и композиторы с сопровождением, редактором и звукорежиссером, код ГДРЗ и т.д.) хранится в базе раздельно
На данный момент проект существует около 6 месяцев, оцифровано много, нашли и редкие/уникальных записи. Например, музыку из м/ф Ну, погоди! поиском которой занимается сообщество этого м/ф. Или например песню Моей душе покоя нет, из к/ф "Служебный роман" за исполнением Людмилы Сенчиной.
По бекапам. Каждый месяц Главная база архива проходит полный бекап на LTO-3, плюс локально она хранится у участников проекта. Основное постоянное хранение на Яндекс Диске.
По кооперации. Это сложный вопрос, который должен обсуждаться с участниками проекта и с противоположной стороной. Но, если у Вас есть записи ГДРЗ мы с радостью внесем их в наше базу и отметим Вас как источник записи. Пока записи вне ГДРЗ не принимаем.
По обработке записей. Мы не ведем никакую реставрацию. После оцифровки мы проводим только нормализацию и в особо сложных случаях подавляем щелчки в iZotope
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 12 июн 2022, 16:12
RV3DOI
а про тракт что можете рассказать? Какой АЦП, есть ли еще что-то в цепи прохождения сигнала? Есть ли привязка к стандартному уровню или он индивидуально подбирается под ленту? Как контролируется запись?
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 12 июн 2022, 16:23
BillyDOS
По тракту... Начну издалека.
Все аппараты проходят полное обслуживание, как механики так и тракта. На всех аппаратах по ТО устанавливается уровень, АЧХ/ФЧХ, шум, искажения. В итоге аппараты пригодны и готовы к оцифровке. Измерительные ленты используем ГДРЗ, недавно приобрели пару рулонов у Eats.
О аппаратуре оцифровки, мы используем разные звуковые карты, среди них Steinberg UR44/UR22C, ESI Julia и Digidesign 003. Номинальный уровень по 24 битной цифровой шкале устанавливается от -18 до -15 дБ что бы был запас по перегрузке. Соединены аппараты с картами по балансу, хоть расстояния и короткие, это помогает избавиться от наводок и прочей гадости.
По опыту скажу что среди всех фонограмм что мы обработали (почти 2600), перегрузку в 15дБ от номинального нуля смогли перейти 2 фонограммы максимум, поэтому подстройки под каждую ленту нет необходимости.
Ход оцифровки контролируется на слух и по спектру в реальном времени в Audition, а так же во время нормализации фонограмм
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 12 июн 2022, 18:59
RV3DOI
А не лучше ли тогда обойтись без нормализации и сохранять совсем без вмешательств..
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 12 июн 2022, 19:22
BillyDOS
Нормализация проводится в любом случае, это не влияет на качество фонограмм. По этому поводу были обсуждения внутри команды. Плюс с недавних пор мы делаем сырую копию без обработки и храним ее на всякий случай
Нормализация проводится в любом случае, это не влияет на качество фонограмм. По этому поводу были обсуждения внутри команды. Плюс с недавних пор мы делаем сырую копию без обработки и храним ее на всякий случай
Заказал пару композиций, уже пришла ссылка, послушаем.Спасибо большое.
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 26 июн 2022, 10:54
rft2
Немного видео. Эстрадно-симфонический оркестр Всесоюзного радио и Центрального телевидения – Возвращение.
Магнитофон МЭЗ-109А, лента ORWO typ 104, запись 1979г.
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 27 июн 2022, 17:13
rft2
Все мы знаем песню «Моей душе покоя нет» из к/ф «Служебный роман» в исполнении Алисы Фрейндлих. Но, оказывается, была ещё одна версия этой песни – в исполнении Людмилы Сенчиной. Она была записана, но так и не издана. Мы нашли её в архиве ГДРЗ и оцифровали:
Оцифровка доступна на сайте https://audio.retro-archive.ru по коду ГДРЗ ДКС-27574.
Но песню в исполнении Сенчиной по радио было не слыхать (впрочем, и пишут, что издана не была), в отличие от Мягкова и Фрейндлих.
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 19 июл 2022, 16:27
dovakhin
BillyDOS
Здравствуйте!
Существует/планируется ли публикация всего архива оцифровок в текущем состоянии (с последующими обновлениями) в виде раздачи на торрентах? Скажем, на том же Рутрекере.
BillyDOS
Здравствуйте!
Существует/планируется ли публикация всего архива оцифровок в текущем состоянии (с последующими обновлениями) в виде раздачи на торрентах? Скажем, на том же Рутрекере.
Здравствуйте!
На текущий момент этого в планах нету. Пока для это есть несколько ограничений, но основное это возня с модерацией Рутрекера, у которой в соответствующем разделе достаточно... мягко скажем, местами глупые правила. Возможно немного позже мы поднимем этот вопрос внутри команды еще раз.
Работа над сайтом идет. Запросы на Почту или в группе ВК не остаются без ответа, любой человек может получить любые заинтересовавшие его записи.
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 19 июл 2022, 17:57
Sulphur
Так можно и в другой какой трекер забросить. Который не заблокирован надзором, и в котором нормальные правила. Наверняка есть такой трекер.
Так можно и в другой какой трекер забросить. Который не заблокирован надзором, и в котором нормальные правила. Наверняка есть такой трекер.
Заблокирован трекер или нет это не сильно важно, сейчас почти все трекеры заблокированы. Если кто то посоветует хороший трекер с адекватной аудиторией - будем рады.
Дело именно в выборе трекера и вести там тему и соответствующие с этим работы (обновление раздачи, подготовка Архива к раздаче)
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 20 июл 2022, 13:44
dovakhin
BillyDOS
Трекер как таковой вообще не нужен. Создаёте торрент-файл с включённым DHT, публикуете где Вам удобно и встаёте на раздачу. В торрент-клиенты вшиты адреса основных связующих узлов, и поэтому DHT работает автономно, в любой точке мира.
А описание "раздачи" со ссылкой на торрент-файл можно опубликовать где угодно. Хоть здесь, хоть на любом другом форуме или у себя на сайте. Я считаю, что чем шире распространить данную информацию (на большом количестве интернет-ресурсов), тем лучше (больше народа на раздаче). Но очевидный минус - трудозатратнее обновлять информацию.
Кстати, на рутрекере можно попробовать обратиться к т.н. "хранителям" - энтузиастам с большими доступными под хранение дисковыми пространствами, поддерживающим активность на "редких" (маловостребованных) раздачах. Возможно, кто-нибудь из них захочет помочь своим интернет-каналом в поддержании раздачи всего архива.
Блокировок за "авторский контент" и т.п. бояться не стоит. Сейчас, мне кажется, уже все используют те или иные средства их обхода, поскольку иначе полноценно пользоваться интернетом просто невозможно.
и "Рутрекер" в первую очередь. Вы хотя бы в профиле своём напишите, из какой Вы страны (я уж не надеюсь города), а то, может, вы из Америки пишете, а там да, всё открывается замечательно.
Зря ёрничаете.
Пока всё не поломалось у меня был небольшой компактный блок на Линухе с файлопомойкой и торрентами, который не выключался (работал с ИБП разумеется).
Блокировок за "авторский контент" и т.п. бояться не стоит. Сейчас, мне кажется, уже все используют те или иные средства их обхода, поскольку иначе полноценно пользоваться интернетом просто невозможно.
За блокировки не боюсь, обойти их можно легко. Про
я имел ввиду что разницы в какому трекеру обращаться по сути нет
В остальном будем думать, спасибо за объяснение!
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 22 авг 2022, 08:48
BillyDOS
Всем привет!
Лето плавно подходит к концу и наши небольшие каникулы заканчиваются. Наша команда хорошо отдохнула и готова к новому году работы. За это лето было проведено расширенное ТО нашего парка техники, обновлено ПО и железо. Мы продолжаем наполнение базы оцифровками, присылайте запросы на почту, через сайт, в группу ВК, или здесь - в ЛС
Принятый формат оцифровок:
Разрядность - 24бит
Частота дискретизации - 96кГц (если имеются повреждения на ленте то частота дискретизации выбирается 192кГц)
Формат хранения - WAV
Формат предоставления по заявкам - FLAC
Отличный проект! Невероятно важный для качественного сохранения наследия.
Одно небольшое предложение, если позволите. Хотя возможно я что-то пропустил и мое предложение уже не имеет смысла.
Оцифровывать и хранить лучше всего в формате 32 bit float. В этом случае в поток не добавляется dithering. К тому же это в некотором смысле "общепринятый" на сегодняшний день формат хранения архивных аудио в цифровом формате. Исходная разрядность потока определяется железкой. Обычно это 24 бит, хотя уже есть и 32 бита. Возможно я не прав, но использовать 32 бита исходной оцифровки скорей маркетинг, чем реальный смысл. И уж точно не имеет смысла для магнитных записей с их динамическим диапазоном.
В тему обработки можно сослаться на американский опыт, например, ARSC (Association for Recorded Sound Collections). Они рекомендуют архивировать сырой исходник (конечно же сделанный по определенным правилам). А дальше для "конечного" потребителя можно сделать реставрированную версию в формате для прослушивания, то бишь с dithering и разумной частотой и разрядностью.
Что касается "беспокойства" в тему нормализации. Эта операция не является "деструктивной". То есть никак не влияет на объем информации, сохраненной в цифровом виде. Я думаю, что это ясно и понятно из самого принципа импульсно-кодовой модуляции и формата PCM
К вопросу об авторских правах. По закону РФ срок действия авторских прав на фонограмму составляет 50 лет начиная с 1 января года, следующего за годом публикации или годом записи для неопубликованных фонограмм. Таким образом по состоянию на сегодня в общественное достояние на территории РФ перешли все фонограммы впервые опубликованные или записанные до конца 1971 года.
Успехов!
У нас сырой исходник также сохраняется в формате 32 бита 96 кГц. Но фактически имеющиеся у нас звуковые карты выдают только 24 бита, поэтому BillyDOS и указал это значение.
У нас сырой исходник также сохраняется в формате 32 бита 96 кГц
Значит я невнимательно прочитал форумХотя я имел в виду формат 32 bit float, а не 32 bit который integer. Надеюсь, что мы правильно поняли друг-друга.
Жаль, что в РФ до сих пор не существует что-то похожее на ARSC и archive.org. Посему всё держится на энтузиазме "одиночек". Кстати, вполне возможно archive.org пустит ваш проект на свой хостинг. Если конечно это вам нужно.
И вот что забавно. На archive.org не блокируются фонограммы которые защищены авторскими правами. Скорей всего в законодательстве США есть какие-то исключения в отношении некоммерческих проектов связанных с образованием и просвещением.
Удачи!
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 22 авг 2022, 22:09
Александр Хрисанов
Коллеги, ну какие 32 бита? Из этих битов 18 - просто шумы. И если их отрезать, то может даже будет лучше.
Одно небольшое предложение, если позволите. Хотя возможно я что-то пропустил и мое предложение уже не имеет смысла.
Оцифровывать и хранить лучше всего в формате 32 bit float. В этом случае в поток не добавляется dithering. К тому же это в некотором смысле "общепринятый" на сегодняшний день формат хранения архивных аудио в цифровом формате. Исходная разрядность потока определяется железкой. Обычно это 24 бит, хотя уже есть и 32 бита. Возможно я не прав, но использовать 32 бита исходной оцифровки скорей маркетинг, чем реальный смысл. И уж точно не имеет смысла для магнитных записей с их динамическим диапазоном.
Для честных 32 бит есть одно серьезное ограничение - железо, а именно звуковые карты по доступной цене. При этом 24 бит дает дин. диапазон 144дБ, на магнитной ленте в формате 38/2 потолок 70дБ. Железо полупрофессиональных звуковых карт (в нашем случае мы используем ESI Julia) дает дин. диапазон около 110дБ (с учетом шумовой полки). Этого в целом хватает с запасом, а он нужен с учетом что нуль на звуковой карте смещен для запаса по перегрузке.
Для честных 32 бит есть одно серьезное ограничение - железо
День добрый!
Я не имел в виду "честные" 32 bit integer. Я говорил только о том, что хранить можно было бы в 32 bit float. Какой был исходник 16-24-32 integer значения не имеет. В 32 bit float конвертируется любой. На самом дела большинство современных DAW использует именно этот формат для временных файлов, А для обработки используют 64 bit float для повышения точности плюс ускорения обработки на базе арифметики с плавающей точкой.
Позволю ещё раз повториться. Исходный звуковой поток (16-24-32) определяется настройками аудиокарты. А 32 bit float - формат хранения.
К тому же, как правило, при сохранении 16 или 24 integer по умолчанию добавляется dithering, а в 32 bit float - никогда. Поскольку этот формат считается "рабочим". Конечно, в некоторых программах можно сказать, что не надо добавлять dithering. Но не уверен, что во всех. Например, в популярной Audacity нельзя.
В общем-то я только повторил некоторые общепринятые рекомендации. А дальше Вам решать как делать.
В любом случае Ваш проект совершенно замечательная вещь.
Удачи!
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 23 авг 2022, 23:14
Александр Хрисанов
Коллеги, какие 32 бита?
Всё что после 14 бит - это шумы. Это шумы резисторов и других компонентов, которые стоят в технике.
Поэтому 16-ти битную технику ещё как-то можно понять.
Но 24 и тем более 32 - это вообще за гранью понимания.
Так вам завтра 48-битное оборудование будут предлагать, что, будете за это фуфло платить кучу денег?
И следующий вопрос: а вы что такое оцифровываете, чтобы нужно просто космическое качество оцифровки?
У ваших плёнок, если пересчитать на биты динамический диапазон, максимум 12. А скорее всего 8-10.
Лично я тоже не считаю и нигде не говорил, что старые записи надо оцифровывать с разрядностью 32 бита. Я не устаю повторять, что 32 bit float - это рабочий формат хранения, в который можно засунуть любой исходный поток, хоть 8 бит. И этот формат используется для хранения "сырых" архивов.
Так что слова 32 бит не стоит воспринимать как 32 бит "integer", т.е. исходный поток оцифровки с разоядностью 32 бита.
И следующий вопрос: а вы что такое оцифровываете, чтобы нужно просто космическое качество оцифровки?
У ваших плёнок, если пересчитать на биты динамический диапазон, максимум 12. А скорее всего 8-10.
Дин диапазон на проф записях вполне может достигать оговоренных 70дБ (12 бит), и по опыту ~3000 оцифровок мы можем сказать что это так и есть. Учитывая запас на перегруз (цифровой сигнал не может быть больше нуля) дин диапазон нужен не меньше 100дБ (16 бит), а его, например, та же ESI Julia (с учетом шумовой полки) дать вполне может.
Я не вижу смысла ограничивать то что есть, современные звуковые карты работают либо в 16, либо в 24 бита, или на выбор 16/24, а преобразование в меньшую битность навредит сигналу.
В добавок, замечу, оцифровка идет с большим разрешением для последующей обработки тем кто ее захочет сделать.
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 24 авг 2022, 10:42
BillyDOS
Замечу, так как исходно речь шла в чем хранить (24 или в 32) архивные оцифровки то на основе вышеизложенного считаю что нужно минимум 16, с учетом обработки в будущем 24. И как было озвучено выше с учетом мирового опыта - в 32
И как было озвучено выше с учетом мирового опыта - в 32
Вероятно я Вас не правильно понял. Но 32 вовсе и не требуется с точки зрения мирового опыта))) Формат хранения 32 bit float - это только удобный формат хранения и обработки. А в этот формат можно "запихать" любую исходную разрядность. При этом 16 или 24 конечно же не превратятся в 32))) Ещё раз повторю. Речь идёт о формате хранения, а не о разрядности исходной оцифровки.
Например, в одном из буржуйских материалов я встречал указание, что любительские пленки рекомендуют оцифровывать в формате 48/24. А профессиональные в формате 96/24. Сейчас ссылку не найду. Я в свое время много перелопатил материалов. Правда, в основном про грампластинки. Например, Great 78 Project использует формат 44.1 с неуказанной разрядностью. Но это понятно. У старых грампластинок и частотка до 10K и динамический диапазон дай бог 30Дб. Так что и 44.1/16 вполне хватает. А хранят они в 32 bit float.
Успехов!
100 дБ от 96 отличается почти в два раза... Это существенней, чем десятые.
Я мало понимаю смысла вашей исходной поправки, потому что вы из контекста вырвали мою фразу.
100дБ мной были упомянуты в отношении 16 бит утрированно, не перегибайте палку.
100дБ мной были упомянуты в отношении 16 бит утрированно, не перегибайте палку.
Ничего не имею против Вас.
Я лишь о том, что в радиовещании динамический диапазон принимался спокон веку за 100 дБ.
А 16 бит их не обеспечивают априори.
Я лишь о том, что в радиовещании динамический диапазон принимался спокон веку за 100 дБ.
Вы так шутите?
В радиовещании динамический диапазон принудительно ограничивался уровнем 30-40 децибелл.
Просто для того чтобы слушатели смогли хоть что-то услышать.
Я завтра открою справочник по радиовещанию и отсканирую полезные странички.
Доберусь до своей - посмотрю ещё раз, 550 страниц дежавюкать неудобно...
Re: Ретроархив Аудио. Цифруем ГДРЗ
Добавлено: 25 авг 2022, 11:40
rsdrp
Я думаю, что нет предмета для спора. Разумно делать исходники 24 бита. А конечный продукт вряд ли имеет смысл делать больше 16 бит. Особливо с учетом того, что в основном будут слушать с компрессией через стрим сервисы типа YouTube и прочих.
Исходник создаётся для архивного хранения. То есть подразумевается, что некоторый специалист может взять этот исходник и провести реставрацию или ещё какую полезную деятельность учинить. Я встречал у буржуев результаты реставрации фонограмм со старых грампластинок. Вполне так ничего получается на мой невзыскательный вкус. Причем исходники они берут с archive.org
Успехов авторам проекта.
Немного видео. Эстрадно-симфонический оркестр Всесоюзного радио и Центрального телевидения – Возвращение.
Магнитофон МЭЗ-109А, лента ORWO typ 104, запись 1979г.
Я думаю, что нет предмета для спора. Разумно делать исходники 24 бита. А конечный продукт вряд ли имеет смысл делать больше 16 бит. Особливо с учетом того, что в основном будут слушать с компрессией через стрим сервисы типа YouTube и прочих.
Исходник создаётся для архивного хранения. То есть подразумевается, что некоторый специалист может взять этот исходник и провести реставрацию или ещё какую полезную деятельность учинить. Я встречал у буржуев результаты реставрации фонограмм со старых грампластинок. Вполне так ничего получается на мой невзыскательный вкус. Причем исходники они берут с archive.org
Успехов авторам проекта.