Моделирование биологических микрорельефов с использованием метода фотограмметрии (на примере чешуи циклоидного типа)

Tyagun, M.L.; Khodzher, T.A.

doi:10.26583/sv.14.3.01

Научная визуализация, 2022, том 14, номер 3, страницы 1 - 12, DOI: 10.26583/sv.14.3.01

Моделирование биологических микрорельефов с использованием метода фотограмметрии (на примере чешуи циклоидного типа)

Авторы: М.Л. Тягун¹, Т.А. Ходжер²

Лимнологический институт Сибирского Отделения РАН

¹ ORCID: 0000-0002-9574-0647, mary@lin.irk.ru

² ORCID: 0000-0002-3470-9478, tatty-80@mail.ru

Аннотация

Для реконструкции биологического рельефного объекта использован метод моделирования с использованием цифровой фотограмметрической системы, анализирующей данные стереопарных снимков, полученных с помощью сканирующей электронной микроскопии. Метод позволяет анализировать принцип организации как сложных, так и простых микрообъектов, конструкция которых требует ясности, либо уточнений.

С помощью данного метода авторам удалось описать принцип организации покровного рельефного слоя чешуи циклоидного типа, характерной для большинства Teleostei (эволюционно поздних рыб). Получение подобных объёмных изображений актуально для понимания конструкции эволюционно различных типов экзоскелета рыб. Также метод существенно облегчит интерпретацию особенностей микрорельефа, формирующегося циклически, что необходимо для точного определения возраста современных видов рыб.

Ключевые слова: фотограмметрический метод, стереопарный метод, самоорганизующаяся биосистема, микрорельеф.

1. Введение

В настоящее время наряду с новыми визуализирующими методами «компьютерного зрения» применяются давно известные теоретические методики. В классической фотограмметрии для составления планов и карт (фототопография) ранее использовали аэрофотоснимки местности [1, 2]. Современный этап предлагает решение задач подобного картирования с помощью дронов и беспилотников [3, 4, 5, 6]. Спутниковые системы получают снимки Земли для изучения ее природных ресурсов и контроля за охраной окружающей среды (космическая фотограмметрия) [7]. Широкое применение фотограмметрического метода для определённого спектра задач в различных областях науки и техники составляет предмет исследования прикладной фотограмметрии [8, 9, 10, 11]. Фотограмметрия часто используется геодезистами, архитекторами, инженерами и подрядчиками для создания топографических карт, сеток, облаков точек или чертежей на основе реального мира [12, 13, 14]. Современные цифровые фотограмметрические системы позволяют моделировать практически все процессы, выполняемые в классической фотограмметрии.

Использование фотограмметрических методов сделало возможным получение трехмерных изображений простых и сложных рельефных поверхностей по стереопаре. Построение трехмерных объектов на основе геометрических свойств стереопарных снимков легло в основу многих современных программных продуктов. Оперирование цифровыми изображениями, полученными с помощью цифровых видео и фотокамер, значительно сокращает технологическую цепочку от обработки снимков до создания цифровой модели рельефа. Обработка подобных снимков требует развития цифровой фотограмметрии, повышающей производительность труда и позволяющей экономить время. Современная цифровая фотограмметрическая станция является совокупностью программных и аппаратных средств, обеспечивающих выполнение комплекса технологических процессов и операций, необходимых для получения цифровых карт и ортофотопланов. К числу наиболее известных зарубежных систем относятся продукты фирм Intergraph Corporation [15], LH-systems LLC [16], ISM [17], ERDAS [18]. В России так же проводятся разработки в области цифровой фотограмметрии: компания "Ракурс" представляет систему PHOTOMOD [19], Сибирский цифровой стереоплоттер SDS создан на кафедре фотограмметрии и дистанционного зондирования СГГА (Новосибирск) [20, 21], программный комплекс Agisoft [22] и т.д. Все эти программы в той или иной степени обладают развитыми функциональными возможностями и высокой производительностью, с их помощью можно решать конкретные задачи автоматического или полуавтоматического создания и редактирования цифровой матрицы рельефа. Более того, работа с современной цифровой фотограмметрической системой в отличие от аналогово-аналитических способов не требует специального фотограмметрического образования, что значительно расширяет области ее применения.

В настоящее время системы 3D-моделирования совершенствуются методологически благодаря вовлечению в эту сферу разномасштабных объектов. Так, стереоскопия и последующее 3D-моделирование находят активное применение в биомедицинских науках, где объекты исследования сравнительно малы и получение снимков происходит с помощью методов сканирующей электронной микроскопии (СЭМ) [23, 24, 25].

До изобретения электронных микроскопов, использование фотограмметрических методов в микроскопии было ограниченным. Это объяснялось тем, что световые микроскопы имели небольшую разрешающую способность и малую глубину резкости. С созданием растровых электронных микроскопов, обладающих значительной глубиной поля зрения (примерно в 300 раз больше, чем у световых), применение стереометода становится эффективным и представляет практический интерес при определении морфологических особенностей биологических микроструктур [26]. В настоящее время получение растровых стереопар с помощью СЭМ находит широкое применение в основном в биомедицинской области и отчасти – в промышленной [27].

Перед нами была поставлена задача конструкции 3D-модели биологического объекта – элемента наружного скелета рыб.

Покровные ткани представителей живого мира, а также структурированные биоминералы, обладают как простым, так и сложным микрорельефом. Эта особенность привлекает внимание биологов, поскольку закономерности формирования рельефных паттернов подобных тканей представляют разносторонний интерес: как в прикладном аспекте (для видовой диагностики), так и теоретический - как самоорганизующаяся система [28, 29, 30, 31].

Нами был выбран объект, обладающий закономерно повторяющимся рельефом, - чешуя рыб (рис. 1). Основным элементом рельефа является склерит [32; 33]. Склериты наиболее распространенных типов чешуи, циклоидного и ктеноидного, - это концентрические образования. Сверху они выглядят как расходящиеся радиально из геометрического центра круги или кольца. На гистологическом срезе они представлены как гребнеобразные возвышения (рис. 1а). За счет этого поверхность чешуи неоднородна по высоте. Склеритный рисунок можно условно назвать картой чешуи, а если учитывать, что склериты – это разноразмерные возвышения, а сама чешуйная пластинка представляет собой слегка изогнутую плоскость, то можно вести речь об архитектонике объекта, а сам объект можно считать топографической картой.

01_поперечный рельеф_

Рис. 1. Чешуя байкальского омуля (Coregonus migratorius Georgi):

а) фрагмент рельефа покровного слоя циклоидной чешуи,

б) центральная область чешуи, вид сверху (фото СЭМ Philips 525-M)

Чешуя является своеобразным биологическим «паспортом», отображающим закономерности жизненного цикла рыб. Характеристики роста рыбы отражены в особенностях «укладки» рельефных структур чешуи, имеющих годовую периодику [34, 35]. Биохимически рельефные образования чешуи являются гиперминерализованной структурой. Склериты, расположенные концентрически гребневидные элементы, являются композитами внеклеточного белкового матрикса и минерализованных компонентов, в основном – фосфатов кальция, близких к гидроксилапатиту [36, 28]. Если смотреть на рисунок рельефа чешуи фронтально, то становится очевидным, что он имеет периодические повторения: широко поставленные цельные склериты и так называемые «выклинивающиеся» или «срезающиеся» [37] (рис. 1б). Эта повторяемость имеет сезонный аспект, благодаря чему мы можем выделять в чешуйном рисунке годовые зоны (совокупность двух сезонов) [38]. Выделение годовых зон дает ключ к решению ряда научно-практических задач, связанных с ростом особи и определением возраста. Но при этом у исследователей, работающих с одним и тем же экземпляром чешуи, результат подсчета числа годовых зон может быть различным. Расхождение в большинстве случаев составляет 1-2 годовые зоны. Таким образом, мы убеждаемся, что от правильности интерпретации рельефа чешуйной пластинки зависит точность определения возраста рыбы и что при визуальном методе чтения возможны ошибки. Это заставляет нас обращаться за помощью к методам объёмного исследования рельефа чешуи, способных дать дополнительную информацию.

Для апробации фотограмметрического метода была выбрана чешуя байкальского омуля, вида, имеющего промысловую ценность, для которого точное определение возраста востребовано.

2. Создание 3D модели микрорельефа

Получение модели основано на принципах, аналогичных человеческому видению, преобразованному в методы компьютерного зрения. Первый шаг работы - получение разреженных соответствий между исходными изображениями, с помощью которых выполняется автоматическая калибровка камеры. Второй шаг - восстановление объёма по точкам, восстановленным для компьютерного стереозрения. Третий шаг - реконструкция поверхности путем слияния этих точек.

2.1. Подготовка биологического объекта

Любой биологический микрообъект подготавливается к съёмке методами СЭМ в соответствии с требованиями съёмки под сканирующим электронным микроскопом [39]. Препарат должен быть очищен, зафиксирован, подвергнут дегидратации и просушен. В случае деликатных хрупких объектов очистка может проводиться в специальной ультразвуковой ванне. Объект погружается в ванну, несущую водную среду, которая впоследствии удерживает взвешенные нерастворимые наночастицы [40]. Биологические ткани, содержащие жидкости, на следующем этапе просушиваются с использованием криосушильных методов.

В нашем случае отобранная для съемки чешуя была очищена обычной водой с добавлением нашатырного спирта (1%). При обработке поверхности кожный эпителий был удален. Затем чешуя была приклеена при помощи клея Cosmofen к столику, предназначенному для съемки на сканирующем электронном микроскопе рельефным слоем вверх и в таком виде была просушена. Перед вакуумной СЭМ-съёмкой объект был напылён тонким слоем золота.

2.2. Технология получения стереопар

Использованный в настоящей работе метод предполагает создание цифровой 3D-модели на основе двух снимков, полученных под разным углом; программного соединения локально-идентичных изображений путём многократного наложения фотографий одного объекта.

Для получения стереопар, требуемых для дальнейшего моделирования, было использовано угловое смещение детектора СЭМ Philips 525-M (рис. 2). Не смотря на то, что для данной модели СЭМ рекомендованная угловая стереобаза составляет 16˚, были выполнены тесты с различными углами смещения детектора. Тесты проводились с шагом в 1°, и составляли 17-21°. Тест со смещением в 16° позволил получить в дальнейшем точную модель. Стереопары, полученные с различными углами смещения, были затем сохранены с разрешением 300 dpi в формате bmp. Выбор формата изображения определялся допустимыми входными данными цифровой фотограмметрической системы, с помощью которой производилось получение цифровой модели рельефа.

Рис. 2. Схема расположения детекторов вторичных электронов в растровом электронном микроскопе Philips SEM 525-М.

Создание трёхмерной модели чешуи. Для создания трехмерной модели была использована программа Z-Space 1.2, разработанная в лаборатории компьютерного зрения Институте Информационных Технологий (г. Москва) [41,42], включающая в себя функции внутреннего, внешнего и взаимного ориентирования снимков, а также позволяющая реконструировать элементы рельефа. Основные функциональные блоки Z-Space 1.2 представляют все основные стадии технологического процесса получения цифровой модели рельефа (кратко - ЦМР) на основе стереопары цифровых снимков (таблица 1). Система предназначена для быстрой генерации цифровых моделей рельефа в виде регулярной матрицы высот, создания ортофотопланов, а также съемки векторных контуров по стереопарам и ортофотопланам.

Таблица 1. Основные функциональные блоки системы Z-Space 1.2.

Модуль	Функции
Project	Создание, загрузка и контроль состояния проекта
Interior Or ientation	Внутреннее ориентирование изображений
Relative Or ientation	Взаимное ориентирование изображений
Exterior Or ientation	Внешнее ориентирование стереомодели
MakeDTM	Создание ЦМР
Rectification	Ректификация изображений*
EditDTM	Просмотр и редактирование ЦМР

* Ректификация изображения представляет собой перенос двух плоскостей изображений в одну плоскость таким образом, чтобы все эпиполярные линии были параллельны оси абсцисс и соответствующие эпиполярные линии на обоих изображениях имели одинаковые ординаты [43]

Обработанная стереопара (с разметкой для внутреннего ориентирования) загружается в цифровую фотограмметрическую систему Z-Space 1.2. Ввод цифровых данных производится модулем «РА-3DM», разработанным для построения цифровой матрицы рельефа (рис. 3) [41, 42].

Цель внутреннего ориентирования (Interior Orientation) состоит в том, чтобы установить взаимосвязь между системой координат пикселя и системой координат изображения. Соотношение координатных данных пикселя определяется во время процедуры калибровки. Затем уточняются параметры формул для пересчета пикселей во внутреннюю систему координат. Таким образом программа выстраивает регулярную цифровую сетку, спроецированную для анализируемого изображения. Результаты внутреннего ориентирования используются для взаимного и внешнего ориентирования и обеспечивают точное определение координат местности. Процесс внутреннего ориентирования в Z-Space 1.2 включает в себя четыре этапа:

1. Установку параметров оцифровки, масштаб съемки, фокусное расстояние,

2. Установку параметров и способа использования разметки,

3. Начальную установку маркеров для крестов разметки,

4. Процесс вычисления параметров ориентирования.

Этап взаимного ориентирования (Relative Orientation) определяет параметры взаимного положения систем координат правого и левого снимков и позволяет построить свободную стереомодель. Параметры взаимного ориентирования включают в себя два угла поворота системы координат левого снимка α, γ и три угла поворота системы координат правого снимка α, ω, γ.

Для того чтобы определить параметры взаимного ориентирования, необходимо отметить связующие точки на обоих снимках. Эта операция может быть сделана в ручном, полуавтоматическом и автоматическом режимах.

72 рис 4

Рис. 3. Интерфейс программной среды Z-Space 1.2 с загруженной стереопарой чешуи байкальского омуля (этап взаимного ориентирования)

В результате применения созданной информационной системы исследователь может построить ортофотоплан интересующего его участка чешуи, получить и проанализировать интересующий его срез восстановленной 3D модели чешуи (рис. 4), а также построить график высот вдоль любого заданного направления.

fig 3

Рис. 4. Использование инструмента «СРЕЗ»: трехмерный срез ЦМР и график высот ЦМР по заданной линии отсечения

3. Анализ принципа организации рельефа

По реконструированному с помощью апробированной методологии объёмному изображению можно заключить, что рельефная поверхность современной чешуи циклоидного типа структурирована (рис. 5а). Основными составляющими рельефа являются тонкие пластинки, которые расположены по отношению к плоскости чешуи под углом и погружены в основное вещество верхнего слоя чешуи. Аналог подобных конструкций известен для предков современных сельдевых – это так называемые стрии [38, 44]. В случае современной эласмоидной чешуи обнаруженные пластинки расположены друг относительно друга параллельно и представляют собой плотно упакованную структуру. Каждая пластинка вооружена рядом зубчиков. Зубчики расположены друг относительно друга на расстоянии, составляющем в среднем 0,24 мм. Принцип распределения зубчиков на отдельной пластинке обеспечивает возможность объединения зубчиков соседних пластинок в кругообразный склерит. В связи с этим можно констатировать, что тело склерита не монолитно, склерит - это совокупность зубчиков соседних пластинок (рис. 5б). Ширина основания зубчика составляет ~0,15 мм, высота зубчика~ 0,80 мм. Расстояние между зубчиками, составляющими склерит, ~ 0,015 мм.

72 рис 5

Рис. 5. Объемное изображение рельефного слоя современной циклои дной чешуи, воссозданное по стереоснимкам, полученным с помощью СЭМ Philips-525-M: (а) – оригинал; (б) – схема участка чешуи с рельефными структурами

4. Подтверждение принципа организации рельефа чешуи

На 2D-снимке СЭМ Philips-525-M, где изображен фрагмент рельефа другого участка чешуи (рис. 6), также можно видеть выступающие между склеритами пластинки. Их края выступают на поверхность на 0,5 мкм у основания склерита. При общей толщине верхнего слоя чешуи, составляющей 0,06 мм, можно предположить, что тело пластинки практически целиком погружено в вещество верхнего слоя, и мы видим их только частично. Поэтому идентифицировать пластинку лучше в месте образования на ней зубчика, где ее выступающая на поверхность площадь постепенно увеличивается.

72 рис 6

Рис. 6. Скол циклоидной чешуи и условная схема организации участка рельефного слоя

Благодаря методу цифровой фотограмметрии удалось реконструировать рельефный слой циклоидной чешуи и определить основные элементы, формирующие поверхность выбранного объекта. Метод позволил получить не только изображение, но и информацию о принципе устройства рельефа чешуи циклоидного типа. Полученная трехмерная модель позволила выдвинуть ряд предположений. Во-первых, пластинки с зубчиками являются своего рода «арматурой», погруженной в вещество верхнего слоя чешуи. Аналогичный «каркас», а именно, коллагеновый матрикс, был описан для циклоидного типа чешуи Pagrus major (род Tilapia, сем. Cichlidae) [25]. Основным материалом, формирующим пластинки циклоидной чешуи, возможно, является вещество, подобное коллагеновому матриксу. Это предположение можно сделать, опираясь на информацию о принципах биоминерализации скелетных структур, в которых, в частности, говориться о том, что основной компонент объекта – это органическая матрица, минерализующаяся на дальнейших стадиях формирования элемента скелета.

5. Обсуждение

Благодаря точности стереопарного метода и производимой с его помощью правильной оценке пространственного положения элементов сложного рельефа, нам удалось осуществить реконструкцию объекта с «информативным» микрорельефом – циклоидной чешуи. На данный момент известны работы, использующие этот подход для микрообъектов. Эти работы доказывают высокую эффективность этой методики [45, 46, 47, 48]. Анализируя методологию, приходится констатировать что для каждого отдельного микрообъекта на этапах предварительной подготовки существуют сугубо свои специфические нюансы. Благодаря литературным источникам, посвящённым реконструкции микрорельефов, методическую подготовку можно разделить на однопроекционные методы (2D), многоракурсные (3D) и гибридные стратегии [47]. В однопроекционных подходах, использующих различные направления освещения (электронного луча) в одной перспективе, группа микрофотографий 2D SEM захватывается и используется для моделирования поверхности 3D SEM. В многоракурсных стратегиях набор 2D-изображений SEM, полученный с разных точек зрения, необходим для процесса высокоточной реконструкции 3D SEM-рельефов. В ряде случаев этот шаг также в ключает в себя не только стандартную методу работы с детекторами СЭМ, но и изменение угла наклона предметного столика, на котором монтирован объект, или поворот его вокруг своей оси. С некоторыми допущениями такой вид съемки можно назвать «псевдоконвергентным». Гибридные механизмы пытаются объединить алгоритмы с одним и несколькими представлениями для восстановления трехмерной модели рельефа из 2D-изображений SEM [47].

Реконструкция ЦМР по стереофото – процесс специфичный, поскольку в случае каждого конкретного рельефа необходима предварительная оценка его пространственных признаков и, следовательно, методическая разработка для каждого отдельного объекта будет уникальна. Например, в работе Sohaib и соавторов [46] перед построением модели рельефа кожи производилось измерение топографии кожного рельефа. Поскольку авторы работали с различными типами кожи, которые имели разные цветовые оттенки, то реконструкция высоты рельефа была проведена для каждого отдельного цвета, красного, зелёного и голубого (RGB - соответственно PC-стандарту), а непосредственный процесс реконструкции производился при помощи BRDF – (Bidirectional reflectance distribution function), программного обеспечения, оперирующего с двунаправленной функцией распределения отражающей способности. Методология была предложена авторами для разработки системы 3D-съемки и последующего статического анализа микрорельефа кожи, которая находит применение в оценке эффективности косметических процедур и хирургических вмешательств.

В современный период СЭМ стереофотосъёмка с последующим получением ЦМР была использована для анализа поверхности промышленной полиэтиленовой плёнки. Измерение и визуализация с помощью такого метода микрорельефа поверхности упаковочного материала была необходима для контроля промышленного качества. В этой работе авторы констатируют приоритет метода стереофотограмметрии СЭМ с эталонным для подобного объекта методом профлометрии (хроматической конфокальной микроскопией). Качество измерений стереофотограмметрии СЭМ более точное [48]. Двумерные СЭМ-фотографии были получены с использованием TESCAN MIRA3 GMU (TESCAN Brno, s. r. o., Брно, Чехия https://www.tescan.com/). Использовано несколько детекторов СЭМ, а детектор вторичных электронов был выбран для чистой топографической съемки. Для создания стереопары применили эвцентрический наклон предметного столика с погрешностью ±5° от центрального наклонного положения 20°. Именно такие условия позволили авторам получить более высокое топографическое качество и контрастность изображений.

В нашей работе, также как и у Martelo c соавторами [48], изначально использовался большой угол смещения. Тесты проводились с шагом в 1°, и составляли 17-21°. Тест со смещением в 16° позволил получить точную модель. В нашей работе было использовано два детектора вторичных электронов, в отличие от работы Sohaib и соавторов [46], где их было использовано несколько. Таким образом, наш объект не обладает высокой требовательностью к методологии и, благодаря этому, более лёгок для реализации «на поток». Программная обработка также в сравнении с современными программными комплексами не требовательна к ПК-ресурсу. Комплекс Z-Space предназначен именно для быстрого автоматического построения цифровых моделей. Программа способна конструировать цифровые модели местности на основе стереопар космических или аэрофотоснимков, для интерактивного выделения 2D и стереопризнаков, а также для создания перспективных сцен, включающих ЦМР и векторные признаки [49]. В нашем случае удачей является использование данной программы для микрорельефа. Данной работой мы демонстрируем не только пластичность стереопарного метода и программного обеспечения, но и адаптивность к разномасштабным объектам программного продукта. А также извлекаем пользу в рамках биологической задачи, описывая с помощью тестируемого объекта принцип устройства его рельефа.

6. Заключение

В работе предложен подход, позволяющий с помощью стереопарного метода и метода цифровой фотограмметрии проводить реконструкцию микрорельефов. Подход включает три этапа: подготовку препарата для съёмки с помощью СЭМ, получение цифровой стереопары с помощью СЭМ и программное конструирование фотограмметрической системой Z-Space на основе полученных стереопарных снимков.

Получаемое таким подходом объемное изображение объекта в большей степени информативно, чем его фотография. Микроэлементы рельефа, которые при обычной съёмке далеко не всегда позволяют судить о конструкции в целом, при стереопарной съёмке имеют решающее значение. В случае с покровным рельефом циклоидной чешуи, края пластинок, выступающих на поверхность в местах выхода склеритных гребней, позволили увидеть и прийти к пониманию принципа организации чешуи циклоидного типа.

Результаты применения подхода данной работы позволяют: визуализировать конструкцию, задавать необходимый срез на объекте и анализировать интересующий срез восстановленной 3D модели, извлекать из среза изменения высот рельефа.

Для такого объекта как чешуя, адаптация фотограмметрических методов позволяет перевести изучение микроструктур на совершенно новый качественный уровень: более подробно и детально идентифицировать элементы рельефа, интерпретировать их изменчивость и связывать особенности этой изменчивости с онтогенетическими процессами.

Благодарности

Настоящее исследование выполнено в рамках базового проекта FWSR-2021-0005 (121032300224-8) Исследование трансформаций состояния водоемов и водотоков Восточной Сибири в сезонных и долговременных аспектах в контексте изменений климата, геологической среды и антропогенных нагрузок (рук. Федотов А.П.), с использованием аппаратуры коллективного инструментального центра «Ультрамикроанализ» (http://www.lin.irk.ru/copp/eng/).

Список литературных источников

1. Оробинский В. С. Основы аэрофотогеодезии. Владимир: Изд-во Владим. гос. ун-та, 2005, 71 c., https://www.geokniga.org/bookfiles/geokniga-osnovy-aerofotogeodezii.pdf

2. Xiuxiao Y. On Stereo Model Reconstitution in Aerial Photogrammetry // Geo-spatial Information Science, Vol. 11, №4, 2008, p. 235-242, doi:10.1007/s11806-008-0099-3

3. Steffen R., Forstner W. On visual real time mapping for unmanned aerial vehicles. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Vol. XXXVII, Part B3a, 2008, pp. 57-62, http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.183.9519&rep=rep1&type=pdf

4. Атутова Ж.В., Макаров С.А. Опыт применение беспилотных летательных аппаратов в географических исследованиях // Материалы Всероссийской научно-практической конференции (Иркутск, 22–23 мая 2018 г.). Иркутск: Издательство Института географии им. В.Б. Сочавы СО РАН, 2018, с. 7-9, http://www.irigs.irk.ru/BPLA_sbornik.pdf.

5. Компания pix4d, производитель программного обеспечения для фотограмметрии, https://www.pix4d.com (дата обращения: 16.05.2022)

6. Компания-разработчик беспилотных летательных аппаратов UAV LiDAR, https://www.yellowscan-lidar.com (дата обращения: 16.05.2022)

7. Khan A., Singh S., K. Singh. Generation and analysis of Digital Elevation Model (DEM) using Worldview-2 stereo-pair images of Gurgaon district: A geospatial approach // Journal of Geomatics. Vol.11, № 2, 2017, pp. 186-190, https://isgindia.org/wp-content/uploads/2017/10/JoG_1102_05.pdf

8. Aguilar M.A., Aguilar F.J., Agüera F., Carvajal F. The Evaluation of Close-range Photogrammetry for the Modelling of Mouldboard Plough Surfaces // Biosystems Engineering, Vol. 90, №4, 2005, pp. 397–407, doi: 10.1016/j.biosystemseng.2004.11.006

9. Arias P., Herraez J., Lorenzo H., Ordonez C. Control of structural problems in cultural heritage monuments using closerange photogrammetry and computer methods // Computer and Structures, Vol. 83, Is. 21-22, 2005, pp. 1754-1766, doi:10.1016/j.compstruc.2005.02.018

10. Ye D., Liao M., Nana A., Wang E., Zhou G. Research on reef bathymetric survey of uav stereopair based on two-medium photogrammetry // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XLI - B 1, 2016, pp. 407-4012, https://pdfs.semanticscholar.org/f443/2da400cc3c6775d8e65db9a537e38a0d0ec4.pdf (дата обращения: 16.05.2022)

11. Santise M., Thoeni K., Roncella R., Sloan S. W. Giacomini A. Preliminary tests of a new low-cost photogrammetric system // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XLII-2/W8, 2017, pp. 229-236, doi: 10.5194/isprs-archives-XLII-2-W8-229-2017 , https://www.researchgate.net/publication/321219578_PRELIMINARY_TESTS_OF_A_NEW_LOW-COST_PHOTOGRAMMETRIC_SYSTEM

12. Patias P., Karras G. E. Contemporary Photogrammetric Applications in Architecture and Archaeology. In book: Digital Photogrammetry, Eds: Y. Egels, Publisher: Hermes Science Publishing, Thessaloniki, Greece, 1995, pp. 300-335

13. Kraus K., Jansa J., Kager H. Photogrammetry - Advanced Methods and Applications. Vol. 2, 4th edition, Bonn: Dümmler, 1997, p. 466

14. Bryan P. G., Corner I., Stevens D. Digital rectification techniques for architectural and archeological presentation // Photogrammetric Record, Vol. 16, №93, 2003, pp. 399-415, doi: 10.1111/0031-868X.00131

15. Компания-разработчик интерактивной среды для технического проектирования. https://hexagonppm.com/ru-ru/offerings/products/intergraph-smart-3d , (дата оращения 20.05.2022)

16. Компания-производитель современной цифровой картографии, https://www.lhsystems.com , (дата обращения 20.05.2022)

17. Компания-производитель цифровой фотограмметрической системы ISPRS, аппаратного и программного обеспечения, https://www.gim-international.com/content/article/digital-photogrammetric-workstations-2 (дата обращения 20.05.2022)

18. Компания-производитель ERDAS Imagine LPS , пакета фотограмметрической обработки аэрофотоснимков и изображений с орбиты, https://gmv.cast.uark.edu/photogrammetry/photogrammetry-software/lps-leica-photogrammetric-suite (дата обращения 20.05.2022)

19. Руководство пользователя системы PHOTOMOD 3.10. Программа PHOTOMOD ScanCorrect - М.: ЗАО "Ракурс", 2016. 22 с., https://racurs.ru (дата обращения 20.05.2022)

20. Guk А. P. Siberian Digital Stereoplotter // ISPRS Congress 19th, Vienna, 1996.

21. Цифровой стереоплоттер SDS. Руководство пользователя. Внутрикафедральное издание, 1997, 23 с.

22. Руководство пользователя Agisoft PhotoScan: Professional Edition, версия 1.2. - СПб.: ООО "Живой Софт", 2016. 110 с.

23. Sakeev D. A., Ershenko E. M., S. V. Baryshev , Bobyl’ A. V., Agafonov D. V. Deep microrelief measurement and stereo photography in scanning electron microscopy // Technical Physics. Vol. 56, 2011, pp.127–131

24. Kim K. W., Biomedical Applications of Stereoscopy for Three-Dimensional Surface Reconstruction in Scanning Electron Microscopes //Applied microscopy, 2016, pp. 71-75, http://dx.doi.org/10.9729/AM.2016.46.2.71

25. Feng H., Li X., Deng X., X. Li, Guo J., Mab K., Jiang B. The lamellar structure and biomimetic properties of a fish scale matrix // RSC Advances, Is. 2, 2020. pp. 875-885, doi: 10.1039/c9ra08189e

26. Финковский В. Н., Мельник В. Н. Фотограмметрическая обработка снимков, полученных на растровом электронном микроскопе // Геодезия и картография, 1978, №9, c. 46-52

27. Baghaie A., Tafti A. P., Owen H.A., D’Souza R. M., Yu Z. Three-dimensional reconstruction of highly complex microscopic samples using scanning electron microscopy and optical flow estimation // Yu PLoS One. 2017, Vol.12, Is. 4, pp. 1-23, doi: 10.1371/journal.pone.0175078

28. Meunier F. J. Spatial organization and mineralization of the vasal plate of elasmoid scales in Osteichthyans // Am. Zool. Sci., 24, 1984, pp. 953–964.

29. Birk D. E., Trelstad R. L. Extracellular compartments in tendon morphogenesis: collagen fibril, bundle, and macroaggregate formation // J. Cell Biol., Vol. 103, №1, 1986, pp. 231–240, doi: 10.1083/jcb.103.1.231 , https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2113791/pdf/jc1031231.pd

30. Poulet N., Reyjol Y., Collier H., Lek S. Does fish scale morphology allow the identification of populations at a local scale? A case study for rostrum dace Leuciscus leuciscus burdigalensis in River Viaur (SWFrance) // Aquat. Sci., Vol. 67, №1, 2005, pp.122–127, doi: 10.1007/s00027-004-0772-z

31. Ibañez A. L., Cowx I. G., O’Higgins P. Variation in elasmoid fish scale patterns is informative with regard to taxon and swimming mode // Zoological Journal of the Linnean Society, Vol.155, №4, 2009, pp. 834–844, doi: 10.1111/j.1096-3642.2008.00465.x , https://www.researchgate.net/ publication/230009825_Variation_in_elasmoid_fish_scale_patterns_is_informative_with _regard_to_taxon_and_swimming_mode#read

32. Чугунова Н. И. Руководство по изучению возраста и роста рыб. М.: Академия наук СССР, 1957, 167 c., http://kpabg.ru/sites/default/files/chugunova1957.pdf

33. Werder U. Zur Altersbestimmung an Brycon cephalus Gunther 1869 (Teleostei: Characidae). Dissertation. Hamburg: Reihe Biologie, 1996, p. 239

34. Мина, М. В., Клевезаль, Г. А. Автобиография животных. М.: Знание, 1970, 32 с.

35. Мина М.В., Клевезаль Г.А. Рост животных. М.: Наука, 1976, http://hdl.handle.net/123456789/2938

36. Schonborner A. A., Boivin G., Baud C.A. The mineralization processes in teleost fish scales // Cell Tissue Res., Vol. 202, 1979, pp. 203–212, https://link.springer.com/content/pdf/10.1007/BF00232235.pdf

37. Смирнов В. В., Смирнова - Залуми Н. С. Формирование годовых зон роста на чешуе байкальского омуля Coregonus autumnalis migratorius (Georgi) // Вопр. ихтиологии, Т. 33, № 1, 1993, c.121-129

38. Чугунова Н. И. Методика изучения возраста и роста рыб. М.: Советская наука, 1952, 116 c.

39. Немова С. В. Подготовка образцов для просвечивающей и сканирующей электронной микроскопии: новые установки от leica microsystems для нанесения покрытий // Наука та інновації, Т. 10, № 2, 2014, c. 55-60, https://scinn.org.ua/sites/default/files/pdf/2014/N2/Niemova.pdf

40. Rotter Sh. An ultrasound cleaning method with suspended nanoparticles // International application published under the patent cooperation treaty (pct). International Publication Number 43, International Publication Date WO 2015/159285 Al., 2015, pp. 1-27, https://patentimages.storage.googleapis.com/f8/61/37/bd2619582d1700/WO2015159285A1.pdf

41. Руководство пользователя. Цифровая фотограмметрическая система Z - Space. Версия 1.2, 1999. 104 с.

42. Nekrassov V. V., Chekalin V. F, Moltchachkine N. M. Ortho/z-space software: highly accurate orthorectification of very high resolution satellite image // ISPRS Technical commission VII Symposium on Resource and Environmental Monitoring and ISRS annual Convention. Hyderabad, India, Vol.34, Part 7, 2006, p. 22-25, http://vinek.narod.ru/files/F0393_p.pdf

43. Пьянков В.Д. Пространственная обработка несинхронизированных видеопоследовательностей на основе ректификации кадров // Программные продукты и системы, №1, 2013, с. 61-66.

44. Печкуренков В. Л. Особенности строения чешуйного покров у западно-африканской сардинеллы Sardinella aurita Val. // Вопросы ихтиологии, Т. 3, №1, 1963, с. 131-143.

45. Sakseev D. A., Ershenko E.M., Baryshev S.V., Bobyl` A.V., Agafonov D.V. Deep microrelief measurement and stereo photography in scanning electron microscopy // Technical Physics, Vol. 56, 2011, pp. 127-131, https://doi.org/10.1134/S1063784211010221

46. Sohaib A., Farooq A., Atkinson G., Smith L., Smith M., Warr R. In vivo measurement of skin microrelief using photometric stereo in the presence of interreflections // Journal of the Optical Society of America A. Vol.30, Is.3, 2013, pp. 278-86, doi: 10.1364/JOSAA.30.000278 , https://www.researchgate.net/publication/235777120

47. Tafti A. P., Kirkpatrick A. B., Alavi Z., Owen H. A., Yu Z. Recent advances in 3D SEM surface reconstruction. Micron Vol.78, 2015, pp. 54-66

48. Martelo J. B. , Andersson M., C. Liguori, Lundgren J. Three-dimensional scanning electron microscopy used as a proflometer for the surface characterization of polyethylene-coated paperboard // Nordic Pulp & Paper Research Journal, 2021, Vol. 36, Is.2, pp.1-8, doi: 10.1515/npprj-2021-0003, https://doi.org/10.1515/npprj-2021-0003

49. Blokhinov Y. B., Sibiryakov A. V., Skryabin S. V. Z_Space - digital photogrammetric system for russian tk-350 images // IAPRS, Vol. XXXIII, 2002, 7 р.

Modeling of biological microreliefs using the method of photogrammetry (on the example of cycloidal scales)

Authors: M.L. Tyagun¹, T.A. Khodzher²

Limnological Institute of the Siberian Branch of the Russian Academy of Sciences

¹ ORCID: 0000-0002-9574-0647, mary@lin.irk.ru

² ORCID: 0000-0002-3470-9478, tatty-80@mail.ru

Abstract

To reconstruct a biological relief object, we used a modeling method using a digital photogrammetric system that analyzes data from stereo pair images obtained by scanning electron microscopy. The method allows to analyze the principle of organization of both complex and simple microobjects, the construction of which requires clarity or refinement.

Using this method, the authors can describe the principle of organization of the cover relief layer of cycloid scales, characteristic of most Teleostei (evolutionarily late fish). Obtaining such three-dimensional images is relevant for understanding the construction of evolutionarily different types of fish exoskeleton. Also, the method will greatly facilitate the interpretation of the features of microrelief formed cyclically, which is necessary to accurately determine the age of modern fish species.

Keywords: photogrammetric method, stereopair method, self-organizing biosystem, microrelief.

References

1. Orobinsky V. S. Fundamentals of aerial photography. Vladimir: Publishing house Vladimir state university, 2005, 71 p., https://www.geokniga.org/bookfiles/geokniga-osnovy-aerofotogeodezii.pdf , (in Russian)

2. Xiuxiao Y. On Stereo Model Reconstitution in Aerial Photogrammetry // Geo-spatial Information Science, Vol. 11, №4, 2008, pp. 235-242, doi:10.1007/s11806-008-0099-3

4. Atutova Zh.V., Makarov S. A. The experience of use of unmanned aerial vehicles in geographical research // Proceedings of the All-Russian Scientific and Practical Conference (Irkutsk, May 22–23, 2018). Irkutsk: Publishing house of the Institute of Geography. V.B. Sochavy SB RAS, 2018, pp. 7-10, http://www.irigs.irk.ru/download/BPLA_sbornik.pdf , (in Russian)

5. Pix4d, photogrammetry software developer, https://www.pix4d.com (date of visit: 16.05.2022)

6. An unmanned aerial vehicle developer UAV LiDAR, https://www.yellowscan-lidar.com (date of visit: 16.05.2022)

10. Ye D., Liao M., Nana A., Wang E., Zhou G. Research on reef bathymetric survey of uav stereopair based on two-medium photogrammetry // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XLI-B1, 2016, pp. 407-4012, https://pdfs.semanticscholar.org/f443/2da400cc3c6775d8e65db9a537e38a0d0ec4.pdf

13. Kraus K., Jansa J., Kager H. Photogrammetry - Advanced Methods and Applications. Vol. 2, 4th edition, Bonn: Dümmler, 1997, p. 466

15. Company-developer of an interactive environment for technical design, https://hexagonppm.com/ru-ru/offerings/products/intergraph-smart-3d (data of visit 20.05.2022)

16. Company- developer of modern digital cartography, https://www.lhsystems.com (data of visit 20.05.2022)

17. Company-developer of digital photogrammetric system ISPRS, hardware and software, https://www.gim-international.com/content/article/digital-photogrammetric-workstations-2 (data of visit 20.05.2022)

18. Company-developer of ERDAS Imagine LPS, a photogrammetric processing package for aerial and orbital images, https://gmv.cast.uark.edu/photogrammetry/photogrammetry-software/lps-leica-photogrammetric-suite (data of visit 20.05.2022)

19. System User Manual 3.10. PHOTOMOD. Program PHOTOMOD ScanCorrect. - М.: CSJ Company "Racurs", 2016. 22 p., https://racurs.ru (data of visit 20.05.2022), (in Russian)

20. Guk А. P. Siberian Digital Stereoplotter // ISPRS Congress 19th, Vienna, 1996.

21. SDS Digital Stereo Plotter. User's Guide. Intramural Edition, 1997, 23 p., (in Russian)

22. User's Guide. Agisoft PhotoScan: Professional Edition, version 1.2. – St. Petersburg: “Live Soft” LLC, 2016. 110 p., (in Russian)

24. Kim K. W., Biomedical Applications of Stereoscopy for Three-Dimensional Surface Reconstruction in Scanning Electron Microscopes //Applied microscopy 2016, pp. 71-75, http://dx.doi.org/10.9729/AM.2016.46.2.71

25. Feng H., Li X., Deng X., X. Li, Guo J., Mab K., Jiang B. The lamellar structure and biomimetic properties of a fish scale matrix // RSC Advances, Is. 2, 2020. pp. 875-885, doi: 10.1039/c9ra08189e

26. Finkovsky V. N., Melnik V. N. Photogrammetric processing of images obtained on a scanning electron microscope // Geodesy and Cartography, No. 9, 1978, pp. 46-52, (in Russian)

28. Meunier F. J. Spatial organization and mineralization of the vasal plate of elasmoid scales in Osteichthyans // Am. Zool. Sci. 24, 1984, pp. 953–964

30. Poulet N., Reyjol Y., Collier H., Lek S. Does fish scale morphology allow the identification of populations at a local scale? A case study for rostrum daceLeuciscus leuciscus burdigalensis in River Viaur (SWFrance) // Aquat. Sci., Vol. 67, №1, 2005, pp.122–127, doi: 10.1007/s00027-004-0772-z

32. Chugunova N. I. Handbook on the study of the age and growth of fish. Moscow: Academy of Sciences of the USSR, 1957, 167 p., http://kpabg.ru/sites/default/files/chugunova1957.pdf , (in Russian)

33. Werder U. Zur Altersbestimmung anBrycon cephalus Gunther 1869 (Teleostei:Characidae ). Dissertation. Hamburg: Reihe Biologie, 1996, 239 p.

34. Mina, M. V., Klevezal, G. A. Autobiography of animals. M: Znanie, 1970. 32 p., (in Russian)

35. Mina M.V., Klevezal G.A. Growth of animals. M.: Nauka. , 1976, 291 p., http://hdl.handle.net/123456789/2938 , (in Russian)

37. Smirnov V.V., Smirnova-Zalumi N.S. Formation of annual growth zones on scales of Baikal omulCoregonus autumnalis migratorius (Georgi) // Vopros ikhtyologii, Vol. 33, No. 1, 1993, pp.121-129, (in Russian)

38. Chugunova N. I. Methodology of studying the age and growth of fish. Moscow: Soviet Science, 1952, (in Russian)

39. Nemova S. V. Sample preparation for transmission and scanning electron microscopy: new installations from leica microsystems for coating // Science and Innovations, Vol.10, №2, 2014, pp. 55-60, https://scinn.org.ua/sites/default/files/pdf/2014/N2/Niemova.pdf , (in Russian)

41. User's Manual. Digital photogrammetric system Z-Space. Version 1.2, 1999, 104 p.

43. Pyankov V.D. Spatial processing of unsynchronized video sequences based on frame rectification // Software Products and Systems, №1, 2013, pp. 61-66, (in Russian)

44. Pechkurenkov V. L. Features of scale cover structure of West African sardinellaSardinella aurita Val. // Problems of ichthyology, Vol. 3, №. 1, 1963, pp. 131-143, (in Russian)