AliceVision_ фотограмметрия из командной строки _ Хабр. Решение для пакетной обработки этих файлов. Данный пост является руководством иили туториалом по решению этой задачи
 Скачать 1.23 Mb.
|
|
Публикации Пользователи Хабы Компании Песочница Войти Регистрация PatientZero 11 сентября в 13:50 AliceVision: фотограмметрия из командной строки http://filmicworlds.com/blog/command-line-photogrammetry-with-alicevision/ Разработка игр, Работа с 3D-графикой Перевод Tutorial Вам нужно автоматизировать огромное количество фотограмметрических сканов? Тогда у меня для вас хорошие новости. В видео показана программа для фотограмметрии Meshroom с открытым исходным кодом. Этот проект в разных формах существует уже довольно давно, но недавно разработчики выпустили двоичные файлы, поэтому их можно просто скачать и использовать. В ролике продемонстрировано использование GUI для загрузки изображений, их обработки, изменения параметров и т.д. Рекомендую вам попробовать эту программу в действии. Но меня интересует полная автоматизация. Если у вас есть сканирующая установка, на которой вы делаете по 100 и больше сканов в день, то необходимо полностью автоматизированное решение для пакетной обработки этих файлов. Данный пост является руководством и/или туториалом по решению этой задачи. Для начала важно понять, что Meshroom — не гигантский, монолитный проект. На самом деле, сама обработка выполняется отдельными программами на C++, работающими из командной строки, а Meshroom — это тонкая программа-прокладка на Python, выполняющая соответствующие вызовы. Поэтому вместо использования Meshroom мы будем применять эти программы напрямую. Учтите, что доступны полные исходники, поэтому вы можете привязать библиотеки напрямую. У Meshroom есть ещё одна удобная особенность: при выполнении каждой операции её команда отображается в терминале. Поэтому чтобы создать этапы этого процесса, я просто работал с Meshroom и смотрел за командами. Затем я заглянул в код, чтобы изменить некоторые параметры. Кроме того, кажется, при запуске Meshroom можно приказать ему собрать набор изображений из командной строки, но я предпочитаю не соединять эти этапы. Подготовка и установка 0: Требования Meshroom/AliceVision запустятся не на каждой платформе. Для некоторых этапов необходима CUDA, поэтому для построения карт глубин вам понадобится GPU компании NVIDIA. К сожалению использовать CPU fallback (перенос выполнения функций GPU на ЦП) невозможно., иначе программа бы отлично работала и в Windows, в Linux. Инструкции в этой статье даны для Windows, но с минимальными изменениями их можно подстроить и под Linux. 1: Скачайте релиз Meshroom Meshroom 2018.1.0 Первое, что нужно сделать — установить Meshroom. Выберите папку, из которой хотите выполнять работу, а затем скачайте последнюю версию. В zip-файле есть двоичные файлы всех зависимостей. Если вас тянет на приключения, то можете попробовать собрать программу самостоятельно. Релизные динамически подключаемые библиотеки работают нормально (/MD), но мне пришлось хакать файлы cmake для создания отладочных сборок и/или сборок со статическим подключением. Если вы будете собирать программу под Windows, то КРАЙНЕ рекомендую использовать VCPKG. 2: Скачайте данные alicevision/dataset_monstree Очевидно, что весь смысл ПО фотограмметрии заключается в обработке ваших собственных изображений, но для начала я предлагаю использовать изображения, которые гарантированно подходят. Они позволят найти источники проблем, если что-то пойдёт не так. К счастью, разработчики выпустили набор изображений для своего тестового дерева. 3: Скачайте скрипт run_alicevision.py run_alicevision.zip Это скрипт, который мы будем использовать. Просто скачайте zip-файл и распакуйте его в рабочую папку. 4: Установите Python https://www.python.org/download/releases/2.7/ Установите Python, если вы ещё этого не сделали. Да, я всё ещё пишу код для Python 2.7.0. Проще всего установить Windows X86-64 MSI Installer из релизов. 5: Установите Meshlab (необязательно) MeshLab В качестве необязательного шага нужно также установить MeshLab. На самом деле для обработки она не понадобится, но на нескольких этапах данные выводятся в файлах точек PLY. Их нельзя загрузить в Maya, поэтому для их просмотра я пользуюсь MeshLab. После распаковки всех файлов папка должна выглядеть следующим образом (за исключением папки build_files, которая генерируется скриптами): Здесь есть следующее: build_files: файлы, которые мы собрали. dataset_monstree-master: исходные изображения Meshroom-2018.1.0: двоичные файлы Meshroom/AliceVision. Всё остальное: скрипты для их запуска, которые взяты из run_alicevision.zip Запуск AliceVision Теперь настало время приглядеться к run_alicevision.py Файл Python получает 5 аргументов: python run_alicevision.py <baseDir> <imgDir> <binDir> <numImages> <runStep> 1. baseDir: папка, в которую вы хотите помещать временные файлы. 2. imgDir: папка, содержащая исходные изображения. В нашем случае IMG_1024.JPG (и другие). 3. binDir: папка, содержащая исполняемые файлы AliceVision, например aliceVision_cameraInit.exe. 4. numImages: количество изображений в imgDir, в нашем случае 6. Разумеется, можно распознавать это количество автоматически, но цель заключалась в создании как можно более простого python-скрипта, поэтому нужно указывать это число самостоятельно. 5. runStep: выполняемая операция. Подведём итог: мы начинаем с 6 изображений, выглядящих следующим образом: С помощью python-скрипта run_alicevision.py мы собираемся создать следующую структуру папок: А в папке 11_Texturing будет находиться готовая модель, открываемая в Meshlab: Каждая из этих папок является одним из этапов. Мы можем или запускать их по очереди с помощью файлов run_monstree_runXX.bat, или воспользоваться run_monstree_all.bat, чтобы собрать их все сразу. Вот и всё. Теперь можно запустить файл run_monstree_all.bat, или выполнять по одному этапу за раз. Можете посмотреть на скрипт, чтобы разобраться в его работе. Для тех, кому хочется иметь возможность настройки конвейера обработки я подготовил введение в отдельные этапы. 00_CameraInit Первый этап сгенерирует файл SFM. Файлы SFM — это файлы в формате JSON, в которых хранятся размер камеры, информация о сенсоре, найденные 3d-точки (наблюдения), коэффициенты искажения и другая информация. Первоначальный файл SFM в этой папке будет содержать только информацию о сенсоре и выбирать значения по умолчанию из локальной базы данных сенсоров. Последующие этапы будут создавать файлы SFM, содержащие полные матрицы внешних параметров камер, точки и т.д. Вам может потребоваться настройка этого этапа. Если вы используете установку с 4 камерами, но делаете 10 снимков объекта, вращающегося на поворотном столе, то вам пригодится файл SFM с 40 изображениями, но всего с 4 разными калибровками сенсоров. Это основная причина того, почему мне нравится структура AliceVision. В ней легко настраивать пакетные операции (например генерацию собственного файла SFM) без мучений с настройкой других элементов ПО, которые лучше не трогать. 01_FeatureExtraction Следующий этап извлекает из изображений характерные черты, а также дескрипторы этих черт. Он будет изменять расширение файла в зависимости от типа извлекаемой характерной черты. 02_ImageMatching 02_ImageMatching — это этап постобработки, определяющий, какие из изображений логично сопоставлять друг с другом. Если у вас есть набор из 1000 изображений, то для грубого перебора всех 1000 изображений на соответствие всем 1000 изображениям потребуется 1 миллион пар. На это может потребоваться много времени (на самом деле в два раза меньше, но вы поняли принцип). Этап 02_ImageMatching отсекает эти пары. 03_FeatureMatching 03_FeatureMatching находит соответствия между изображениями с помощью дескрипторов характерных черт. Генерируемые им файлы txt в объяснении не нуждаются. 04_StructureFromMotion Так, это первый серьёзный этап. На основании соответствий 04_StructureFromMotion вычисляет позиции камер, а также внутренние параметры камер. Следует учесть, что термин «Structure From Motion» используется как общий для вычисления позиций камер. Если у вас есть установка для фотограмметрии из 10 синхронизированных камер, то «Structure From Motion» используется для их привязки, даже если на самом деле ничего не двигается. По умолчанию Meshroom хранит все вычисленные данные как файл Alembic, но я предпочитаю хранить их в файле SFM. Этот этап создаёт промежуточные данные, позволяющие убедиться в правильной привязке камер. На выходе скрипт создаёт файлы PLY, которые можно просмотреть в Meshlab. Важны следующие файлы: bundle.sfm: файл SFM со всеми наблюдениями. cameras.fm: файл SFM с данными только привязанных камер. cloud_and_poses.ply: найденные точки и камеры. Вот файл cloud_and_poses.ply. Зелёные точки — это камеры. Я считаю, что этот формат удобнее всего подходит для проверки отсутствия грубых ошибок в привязке камер. Если где-то возникнет ошибка, то вы можете вернуться назад и изменить характерные черты, соответствия или параметры SFM. 05_PrepareDenseScene Основная задача 05_PrepareDenseScene — устранение искажений в изображениях. Он генерирует изображения EXR без искажений, чтобы последующим этапам вычисления глубин и проекций не нужно было выполнять преобразования туда-обратно из функции искажений. Изображения выглядят так: Нужно заметить, что вы увидите чёрные области. Последующие этапы AliceVision не используют настоящую матрицу камеры. Вместо этого мы притворяемся, что у камеры есть новая матрица без искажений, а 05_PrepareDenseScene деформирует исходное изображение под эту вымышленную матрицу. Поскольку этот новый виртуальный сенсор больше настоящего сенсора, некоторые области окажутся пустыми (чёрными). 06_CameraConnection Строго говоря, этот этап нарушает принцип нашего рабочего процесса. Все этапы были разработаны так, чтобы каждая папка становилась совершенно уникальным отдельным этапом. Однако 06_CameraConnection создаёт в папке 05_PrepareDenseScene файл camsPairsMatrixFromSeeds.bin, потому что этот файл должен находиться в той же папке, что и изображения без искажений. 07_DepthMap Это самый долгий этап AliceVision: генерирование карт глубин. Он создаёт карту глубин для каждого изображения как файл EXR. Я настроил его, чтобы это было проще заметить. Вы можете увидеть небольшой «язык», торчащий из дерева. Поскольку этот этап занимает много времени, существует параметр, позволяющий нам запускать группы разных камер как разные отдельные команды. Поэтому если у вас есть 1000 камер, то можно создавать карты глубин для групп камер на разных машинах фермы. Или же можно разбить выполнение работы на мелкие группы, чтобы при сбое одной машины не нужно было повторять заново весь процесс. 08_DepthMapFilter Исходные карты глубин не будут полностью согласованными. Некоторым картам глубин потребуется видеть области, перекрытые другими картами глубин. Этап 08_DepthMapFilter изолирует такие области и принудительно обеспечивает согласованность глубин. 09_Meshing Это первый этап, на котором непосредственно генерируется меш. С мешем могут быть небольшие проблемы, которые можно решить при помощи… 10_MeshFiltering Этап 10_MeshFiltering получает меш 09_Meshing и усовершенствует его. Он выполняет следующие операции: Сглаживает меш. Устраняет большие треугольники. Сохраняет наибольший меш, но удаляет все остальные. Некоторые из этих операций в определённых случаях не всегда желательны, поэтому при необходимости параметры можно настроить. 11_Texturing Последний этап. 11_Texturing создаёт UV и проецирует текстуры. И на этом этапе всё заканчивается! Последний трюк, который можно сделать с Meshlab: вы можете перетаскивать разные файлы OBJ и PLY как слои. В моём примере есть слой и для готового меша, и для точек/камер SFM. Иногда этап сглаживания меша может быть слегка агрессивнее, чем нужно, поэтому полезно сравнить исходный и сглаженный меши. Если меш выглядит поломанным, то для отслеживания проблем в конвейере удобно использовать sfm-данные из PLY и меши из OBJ. Благодарности Этот пост был бы неполон без огромной благодарности командам разработчиков AliceVision и OpenMVG. Источником вдохновения послужил проект libmv. Этот проект был предшественником OpenMVG, который является репозиторием инженеров/исследователей компьютерного зрения для разработки новых алгоритмов. AliceVision — это форк OpenMVG, созданный специально для того, чтобы превратить эти алгоритмы в отдельное решение в виде готового продукта. AliceVision/Meshroom — крупный, амбициозный open-source-проект. Его основное достижение — достижение таким серьёзным проектом финальной черты, и мы обязаны ему очень многим. Также мы обязаны поблагодарить команду OpenMVG (и libmv), чья фундаментальная работа позволила создать AliceVision. Наконец, я хочу сказать особое спасибо Microsoft за VCPKG. VCPKG — это менеджер пакетов, сильно упростивший сборку крупных open-source- проектов под Windows. Несколько лет назад я пытался собрать под Windows OpenMVG. Всё закончилось не очень хорошо. Поэтому когда несколько месяцев назад я услышал об AliceVision, я попытался скомпилировать его, но потерпел неудачу даже с более простыми вещами. Потом я попробовал VCPKG, и всё сразу заработало. Сложно выразить количественно преимущество использования такого проекта, как VCPKG, но он очень помог экосистеме open-source под Windows. github.com/alicevision github.com/openMVG/openMVG github.com/libmv/libmv github.com/Microsoft/vcpkg Метки: фотограмметрия, computer vision, photogrammetry, компьютерное зрение 70 2,3k 3 Переводчик-фрилансер Поделиться публикацией +24 684,7 Карма 1908,6 Рейтинг 1100 Подписчики PatientZero @ ПОХОЖИЕ ПУБЛИКАЦИИ 2 октября 2017 в 14:17 Компьютерное зрение. Ответы экспертов Intel +17 10,1k 62 4 18 сентября 2017 в 13:07 Компьютерное зрение. Задайте вопрос эксперту Intel +12 5,3k 21 22 2 мая 2017 в 03:04 Компьютерное зрение на примере приложения для IKEA. Часть 1 +68 32,5k 300 14 ЗАКАЗЫ Работа с PHP/Drupal 2 отклика 25 просмотров 600 ₽ за час • Парсинг 28 откликов 178 просмотров 30 000 ₽ за проект • Работа на Bitrix 10 откликов 54 просмотра 2 000 ₽ за проект • Реализовать браузерную Игру (3D) 17 откликов 121 просмотр 60 000 ₽ за проект • Создать с нуля одностраничный сайт 40 откликов 149 просмотров 3 000 ₽ за проект • Все заказы Комментарии 3 Lsh 11.09.18 в 15:37 Спасибо за годный перевод! Тоже ковыряюсь с AV. Полезный совет: если есть несколько GPU, то для использования их всех надо отредактировать файл mvs.ini и добавить туда такие строки: [semiGlobalMatching] num_gpus_to_use =количество [refineRc] num_gpus_to_use =количество Почему-то разработчики не вынесли эту настройку в параметры или в крутилки в GUI — не знаю, может быть не успели ещё. Правда многократного ускорения ждать не стоит. Процентов на 20% быстрее на двух GPU, чем на одном. Вообще с самим GUI Meshroom уже есть скрипты для запуска из командной строки: github.com/alicevision/meshroom/tree/develop/bin Вопрос к тем, кто тоже пользуется AV: Если у меня есть множество фиксированных камер (вообще не двигаются), можно ли как либо значительно ускорить процесс обработки? Да, в статье написано про вычисление параметров камер. Но по времени это пшик на фоне работы этапа 07_DepthMap и последующих. Разработчикам писал данный вопрос в гугл группу, но так ничего не ответили. может быть не поняли мой кривой английский. 0 Eugeny1987 12.09.18 в 05:07 Достаточно 6 фотографий для такого качества? 0 grayich 12.09.18 в 11:34 0 Есть ли возможность у подобного софта расставлять точки вручную(как в hugin)? Только полноправные пользователи могут оставлять комментарии. Войдите , пожалуйста. САМОЕ ЧИТАЕМОЕ Звёзды YouTube начинают сгорать на работе: «привлекательность самой интересной из работ потускнела» +31 24k 56 103 «Я три года борюсь с синдромом самозванца» — 10 вопросов программисту, выпуск 7 +24 21,9k 92 81 Как украсть деньги с бесконтактной карты и Apple Pay +238 39,1k 352 156 Что за ерунда происходит с рейтингами популярности языков программирования? +23 38,4k 63 240 Загадочное сердце драм-машины Roland TR-808 +37 14,9k 42 13 Сутки Неделя Месяц Аккаунт Войти Регистрация Разделы Публикации Хабы Компании Пользователи Песочница Информация Правила Помощь Документация Соглашение Конфиденциальность Услуги Реклама Тарифы Контент Семинары Приложения О сайте Служба поддержки Мобильная версия © 2006 – 2018 « TM » |