Простейший 3D-сканер на примере смартфона Sony Xperia XZ1 Compact

Делюсь опытом 3D-сканирования и печати бюстов (сувениры).
До сих пор 3D сканеры были дорогим и недоступным способом оцифровки, иногда проще отрисовать вручную простую модель. Но что делать, если нужно создать бюст или модель реального объекта? Вот тут и приходят на помощь различные ухищрения в виде оцифровки по фотографиям.
А вот в современные смартфоны-флагманы уже давно встраивают подобные функции. В обзоре пойдет речь про приложение 3D Creator для Sony Xperia.



Всем привет!
Совершенно случайно узнал, что существует достаточно неплохой и недорогой способ для 3D-сканирования.
А конкретно — приложение 3D Creator для Sony Xperia XZ1.

Приложение 3D Creator можно скачать свободно, но без смартфона Sony Xperia толку не будет. Программа — это конструктор 3D-моделей, позволяющий из серии снимков с хорошей тыловой камеры сделать 3D модель с относительно невысокой детализацией и пост-обработкой.
Я нашел относительно неплохой смартфон Sony Xperia XZ1 Compact, который оборудован лазерным сенсором, подходящим для создания 3D-моделей.


Характеристики:
Бренд:Sony
Модель: Xperia XZ1 Compact
Процессор: Qualcomm Snapdragon 835, GPU Adreno 540
NFC: Присутствует
ОС: Android 8.0
Защита: IP65/IP68
Дисплей: 4.6" IPS Triluminos Display Corning Gorilla Glass 5
Разрешение экрана: 1280x720
Тыловая камера: 19 Мп (широкоугольная оптика Sony G Lens) стабилизация EIS, лазерный и фазовый автофокус, slo-mo cверхзамедленная съемка 960 кадров в секунду.
Диафрагма f/2.0 Sony IMX400 Motion Eye
Фронтальная: 8 Мп Sony IMX219PQ (сверхширокоугольный объектив с углом обзора до 120°)
Аккумулятор: 2700 мА*ч с поддержкой QC3,0
Интерфейсы: BT 5.0, aptX HD, USB Type-C, Wi-Fi a/b/g/n/ac dual-band, 3G, 4G LTE
Дополнительные функции:: приложение 3D-сканирования

Так вот, особенность данного телефона — встроенный лазерный дальномер для работы автофокуса, который в фирменном приложении 3D Creator приспособили для 3D сканирования. В сканировании участвуют акселерометр, лазерный дальномер и тыловая камера.

Есть ряд предустановленных режимов (портрет, бюст, предметное сканирование), а также встроенная обработка (устранение шума и дефектов) и пост обработка (вращение, обрезка и т.п.). В результате получается *.mesh и *.stl для обычного 3D-принтера.

Результат сканирования крайне сильно зависит от освещения, фона (и динамических объектов на фоне), стабильности и точности самого сканирования. Не всегда результат удовлетворительный.


Встроенная обработка снижает шумы, снижает детализацию и сильно замыливает объекты.


Процесс сканирования прост — выбираете жертву объект, выбираете фон (светлый, монотонный, если человек на стуле — то в пустой комнате или на фоне чистой стены).

Предустановленные режимы имеют свои шаблоны сканирования — метки фокуса, направление перемещения и т.п.

Собственно говоря, сам процесс сканирования не сложен — просто вращаете смартфоном по шаблону, стараясь выдерживать радиус, равномерность и т.п. Чем аккуратнее вы делаете и чем ровнее освещение, тем лучше результат. Не всегда получается с первого раза, но есть возможность «пересканироват».


Результат выглядит жутковато — приложение накладывает на объемную модель текстуру фотографии. Получается так еще кунсткамера.

Изначально приложение позиционировалось как «хайповое» для создания анимашек и 3D-коллажей в инстаграмм и прочие соцсети. С возможностью заказать печать в магазине. Но… приложение позволяет сделать экспорт исходной *.mesh модели, а также получить готовый *.stl-файл для печати.


При экспорте получаем архив с результатами сканирования.
Состав файла: *.mesh облако точек и текстуры в jpg.

Но есть отдельная опция генерации *.stl-файл, который можно загрузить в любой слайсер 3D-принтера. На скриншоте результат сканирования бюста. Принтер предлагает его печатать 1:1.

Результат печати на фотополимерном принтере

Детализация, конечно, так себе. Под покраску пойдет.

Подобные фигурки подойдут, например, в качестве сувенира-шаржа, например, если раскрасить/украсить фигурку, например, париком.

Или «поиздеваться», криповато раскрасив под хеллоуин


Сложные или мелкие предметы, например, резьбу болта, смартфон не сканирует — слишком много шума, который потом вырезается приложением. Равно как и не получается сделать высокую детализацию.
Смартфон/приложение 3D Creator подойдут для создания простых фирурок, бюстов, памятных моделей с невысокой детализацией. Часто полученные модели требуют «доработки» — удаления ошибок сканирования. Хотя, если обеспечить условия и «набить» руку, то подобных ошибок будет меньше.
Таким образом, можно получить очень простой (и недорогой) 3D-сканер для хобби, для самого сканирования не требуется специальных навыков или программного обеспечения, а сам процесс проходит достаточно быстро. Отснять бюст в среднем 2-3 минуты неторопливого перемещения. Можно и быстрее, если приноровиться. Печать моделей на фотополимерном принтере отняла 2 часа.

Что касается приложения — не запустилось у меня на других смартфонах. Редактирование *.mesh — то еще удовольствие, равно как и правка stl.
Забегая вперед, скажу, что на Самсунгах тоже есть подобное приложение и сканер, но 3D Creator на Xperia работает заметно лучше. возможно, в дальнейшем сравню эти функции.

Ссылка на приложение и описание 3D Creator на официальном сайте.
Добавить в избранное +75 +93
+
avatar
+33
Похоже:)
+
avatar
+2
вот модели такого уровня с реальных людей легко получить. главное, чтобы они не шевелились бы некоторое время.
+
avatar
  • marat979
  • 28 сентября 2019, 06:41
0
Спящие или мертвые?))
+
avatar
+1
А это уже как получится. Кстати хорошая свежая мысль для ритуальных агентств
+
avatar
  • Zynq
  • 27 сентября 2019, 13:03
+8
На последних — вылитый ВВП. Но Сони все равно никогда не куплю.
+
avatar
+1
Удивительно, но модель весьма приличная. Правда конкретно эта не самая свежая
+
avatar
0
А у посвежевшей — сенсор отваливается на раз-два.
+
avatar
  • Demz
  • 27 сентября 2019, 19:09
0
так соньки ж закрыли мобильную ветку свою в этом году, наврятли свежее будет.
По железу аппараты годные, но лично мне их эргонорика кажется черезж нестандартной…
+
avatar
-2
Конкретно XZ сливает по всем параметрам моему древнему сяоми, стоя при этом в 5-6 раз дороже.

Причем проблема именно в железе, плохие камеры, так себе экраны, перегрев в играх, средненькая автономность, габариты кирпича с огромными рамками, плохая водозащита, из за которой они дохнут со времен Xperia Z1.
+
avatar
  • kn_dima
  • 01 октября 2019, 00:22
+1
А можно уточнить марку сяоми?
+
avatar
  • userman
  • 27 сентября 2019, 18:39
+2
На нашем рынке вся продукция сони удивительное дно по цене/качеству :) Если не брать верхний циновой сегмент/
+
avatar
  • Yurissum
  • 28 сентября 2019, 05:25
0
На последних — вылитый ВВП.
А на модели вылитый Адик.
+
avatar
0
Адик? adi dassler?
+
avatar
  • Yurissum
  • 28 сентября 2019, 17:07
0
Неа, тот, который воевал с Еськой.
+
avatar
  • amronsan
  • 27 сентября 2019, 13:06
0
Autodesk, свою приложуху закрыли, а зря. Тоже можно было сканить.
+
avatar
0
Да (
+
avatar
  • tztztz
  • 28 сентября 2019, 02:10
+1
это называется ReCap Pro, правда теперь нет бесплатной версии. С «123д кэч» работалось бесподобно, фотки с моего китайфона собирались в отличные 3д модели, а современные сканеры за дофига денег нихрена не работали.
+
avatar
  • tztztz
  • 29 сентября 2019, 11:56
+1
нет, это мусор. Я имел ввиду аутодесовский 123d catch, его закрыли а наработки перенесли в ReCap Pro, он платный.
+
avatar
+2
Если немного поплясать с бубном, то можно поставить почти на любой телефон с современным процессором. Сделал так у себя на OnePlus 5. Работает хорошо!
+
avatar
0
Есть информация про танцы с бубном? Актуально
+
avatar
+2
Давно это делал, но вроде от сюда брал

forum.xda-developers.com/android/apps-games/app-sony-3d-creator-t3669576
+
avatar
+1
Только у меня одного засветилось по типу рекламы:
«можно поставить почти на любой телефон с современным процессором, для этого каждый день он включал...»
+
avatar
0
А с какими-то деталями, например фурнитурой для душевой кабины получиться? А то иногда пластиковые детальки стоят на них ужасно дорого и часто под заказ. А то можно было бы отсканировать и распечатать.
+
avatar
0
Мелочь простой формы проще отрисовать чем сканировать и править ошибки. Заодно усилить модго6 там где ломается
+
avatar
  • NordWind
  • 27 сентября 2019, 13:15
+1
На телефонах с 2мя и более камерами, одна из камер используется для получения расстояния до объектов. На этих данных очень просто построить 3D модель.
Программа для этого либо уже есть либо скоро будет.
+
avatar
0
В основном платные и куча ограничений по размерам объектов
+
avatar
  • NordWind
  • 27 сентября 2019, 13:30
0
Ограничение размеров будет в любом случае, объектив имеет ограниченную глубину работы (для зеркалок к примеру это 0.5 — 7 метров то что ближе уже не в фокусе, то что дальше это бесконечность и глубину не определить) И к томуже большинство камер даст 256 уровней серого, то есть на больших объектах точность сильно страдает.
Платные, это вопрос для России очень спецефический )))) мы то знаем, что если есть платные, то бесплатные тоже должны существовать, но в других местах.
+
avatar
-1
ну скажем так, условно бесплатные редко обновляются. А тут много заложено в алгоритмах софтовой обработки. Я перепробовал несколько — мягко говоря, был разочарован
+
avatar
  • NordWind
  • 27 сентября 2019, 14:27
0
Я перепробовал несколько — мягко говоря, был разочарован
Проблема в камерах низкого качества. Любой смартфон чтобы скрыть шумы матрицы, размывают-шарпят картинку, что естественно зализывает детали.
+
avatar
+1
Любой смартфон позволяет получить RAW уже лет 5 как. Со времен снапдрагна 808/810 и IMX258 есть аппаратная поддержка.
+
avatar
  • NordWind
  • 29 сентября 2019, 05:50
+1
Любой смартфон позволяет получить RAW
С огромными шумами. Если бы ро была чистая, то и jpg бы не размывали.
+
avatar
0
Jpeg размывают во многом потому что получить кадр надо не через минуту, а через 5-6 секунд. Если пройтись по RAW файлу нормальным шумодавом, то результат намного лучше.
+
avatar
  • NordWind
  • 30 сентября 2019, 11:20
+1
Если бы изобрели такой шумодав, миллионы людей готовы бы были отдать за него денег. Любой самый продвинутый шумодав уменьшает детализацию. Другое дело что в ручном режиме можно немного подкорректировать по картинке, степень размытия, но всёравно это удаляет детали.
Удалить яркостный шум (а именно он мешает сделать точную модель) без потери детализации, невозможно.
+
avatar
  • toba3
  • 27 сентября 2019, 13:16
+2
Для Huawei и Honor с TOF камерой есть вот такое, например:
play.google.com/store/apps/details?id=com.lvonasek.arcore3dscanner&hl=ru

Вот еще интересная штука, прибор ночного видения для той же камеры
play.google.com/store/apps/details?id=com.lvonasek.tofviewer
+
avatar
  • toba3
  • 27 сентября 2019, 13:18
0
del
+
avatar
  • Lithe
  • 27 сентября 2019, 14:44
0
Проще закрепить телефон на штатив, а человека посадить на крутящийся стул. Так и фон однородный подобрать легче. Не пробовали так?
+
avatar
0
нет, там акселерометр в телефоне работает для получения координат.
А в стуле энкодера нету.
+
avatar
  • alex323
  • 27 сентября 2019, 18:06
-1
Тогда уж скорее магнитный компас. Тут направление надо отслеживать.
+
avatar
0
Все, побегу Пелевина «Generation „П“» перечитывать ;)
+
avatar
0
там что-то было такое.
про ельцина что-ле
+
avatar
  • dimkin
  • 27 сентября 2019, 17:21
0
с kinect не пробовали? есть пара вещей, которые бы неплохо сосканировать/распечатать, но смарт для этого покупать- перебор. kinect доставабелен бу-шный за 20-30€.
+
avatar
0
К ардуино?
+
avatar
  • puzoid
  • 27 сентября 2019, 18:49
+1
+
avatar
  • DmitryA
  • 06 октября 2019, 22:49
0
KinectOne выдает поток 2,5гбит по усб3.0

Ардуино, угу…
+
avatar
  • DmitryA
  • 06 октября 2019, 22:51
0
Рекомендкю обратить анимание на KinectOne. Характеристики горпздо интереснее, а стоит не омобо дороже. Я саой БУ взял за 2000 рублей.

Кстати. Кабель для ПК покупать НЕ НАДО, их барыги по $100 толкают. Прекрасно делается из обычного усб3.0 кабеля, надо только питание 12в припаять к плате (2 проводка).
+
avatar
  • dimkin
  • 07 октября 2019, 07:41
0
я вот всё телюсь :)
а софт один и тот-же?
+
avatar
  • dmbf22
  • 27 сентября 2019, 19:12
+1
это кажется называется фотограметрия. Есть софт, например Reality Capture, он позволяет в принципе с любых фоток делать 3д модели, правда комп нехилый нужен
+
avatar
0
А тут все мобильный проц в оффлайне делает
+
avatar
  • DmitryA
  • 06 октября 2019, 22:52
0
В кинекте FPGA стоит, чтобы такрй обьем вычислений переварить.
+
avatar
  • DMA
  • 28 сентября 2019, 01:37
+1
Или опенсорсный meshroom
+
avatar
  • tuz_83
  • 28 сентября 2019, 02:59
0
До сих пор 3D сканеры были дорогим и недоступным способом оцифровки, иногда проще отрисовать вручную простую модель.
Так они как были дорогие, так и есть (те от которых реальный прок есть). Оптикой тут ловить нечего — разрешение «не то». Поэтому либо лазерные системы типа David, либо контактные. Контактными сканировать долго и муторно, частенько самодельщики их делают сами. Готовые решения от производителей стоят не дёшево — самый дешёвый MicroScribe-3D, а один из самых дорогих Faro Arm.
Так, что народ для РЕАЛЬНОЙ работы хоббийных ЧПУ-станков используют Штрих-2 (талмут pdf).
+
avatar
  • Yurissum
  • 28 сентября 2019, 05:54
0
Бедные Модели!

Напомнило.
В апсторе была некоторое время программа Imut8R конечно 3D она не делала но получалось вот такое

И была программа типа говорящая морская свинка. Она уже делала из фото подобие 3D и если извратиться подобие 3D накладывалось на другое фото

Изображение качалось и разговаривало, точнее кривлялось, повторяя сказанное в морскосвиновской манере
+
avatar
0
В xperia тоже такие шаржи можно делать. Но в первую очередь интересует именно экспорт 3д модели
+
avatar
  • tuz_83
  • 28 сентября 2019, 21:15
0
Но в первую очередь интересует именно экспорт 3д модели
Вот экспорт Обамы в 3D и распечатка на 3D-принтере:

Цена Artec Eva €15 070. Новая модель Artec Leo разумеется дороже — €24 970
+
avatar
  • goldmine
  • 28 сентября 2019, 12:17
0
Прогресс на месте не стоит. Придумают программы и получше для любого смартфона.
+
avatar
0
Извините, но результат мясо… Без лазеров в плюс минус модель не получить. Баловался кинетиком, потом… Забыл толи циклоп. Но результат не порадовал.
+
avatar
0
Без лазеров… модель не получить
Ну вы тоже должны понимать.
Нормальный промышленный 3Д сканер стоит миллионы.
+
avatar
  • DmitryA
  • 06 октября 2019, 22:53
0
В кинекте лазеры.
+
avatar
  • dsprts
  • 30 сентября 2019, 10:49
0
надо лазерный сканер с инфраксрасным тепловизором совместить. Будет весело
+
avatar
0
Погуглите терагерцовые рентгены и сканеры