В России создана система оценки стоматологического лечения с применением робота-тренажера.

Статья была опубликована в журнале «Вестник ПНИПУ. Электротехника, информационные технологии, системы управления». Исследование осуществлялось при финансовой поддержке Пермского НОЦ «Рациональное недропользование».

Проект «антропоморфного стоматологического симулятора» представляет собой тренажер для студентов-стоматологов, на котором ученики могут безопасно отрабатывать свои навыки в выполнении основных процедур – лечение кариеса, подготовка зуба под коронку, удаление и лечение каналов. Встроенная нейросеть с помощью видеокамер позволяет оценивать результаты работы, анализируя полученные изображения.

Современные нейросети способны выявлять множество объектов различных классов без необходимости в дополнительных схемах. Обычно для обнаружения и классификации объектов на фотографиях используется простая одноступенчатая нейросеть. Она, например, может с высокой точностью находить зубы в челюсти тренажера, несмотря на постоянные изменения освещения и формы объекта в процессе лечения. Однако, если требуется проанализировать не сам объект, а его часть, например, небольшую пломбу, задача усложняется, увеличивается количество ложных срабатываний. Нейросеть может ошибочно воспринимать блики и неровности внутри полости рта за искомые отверстия в зубе или вовсе пропускать их.

Ученые Пермского Политеха разработали двухступенчатую схему распознавания, которая анализирует фотографии в поисках составных объектов (отдельных зубов), вырезает, нормализует их по размерам и анализирует каждый фрагмент отдельно для выявления мелких объектов (пломб, отверстий).

«На первой ступени происходит поиск области интереса, то есть первая нейросеть определяет только объекты «зуб» и «зуб с дыркой». Они вырезаются и передаются на вторую ступень, где распознаются отверстия в зубах и их характеристики», — поясняет Андрей Кокоулин, доцент кафедры автоматики и телемеханики ПНИПУ, кандидат технических наук.

Предварительная обработка фотографий особенно важна для определения свойств мелких объектов, так как их изменения труднее заметить. Она позволяет устранить шум, повысить контрастность и яркость, а также улучшить четкость, что делает изображение более информативным. Поскольку зубы имеют цвет, близкий к белому, на них плохо различимы контуры вырезанных отверстий. Также мешает отражение подсветки, необходимой для работы камер. Политехники дополнительно интегрировали в систему программу для улучшения контраста, которая сохраняет локальные детали и структуры изображения, что критично для точного определения границ мелких объектов.

Форма зуба представляет собой кривую, и в ходе процедуры важно вычислять размеры его границ, глубину отверстий и количество снятой эмали. Для этого ученые разработали метод измерения объектов сложной формы, позволяющий проводить расчеты в трех измерениях.

«Применение нашей двухступенчатой системы увеличило точность до 92 процентов и снизило количество ложноположительных срабатываний до пяти процентов. Для каждого варианта лечения нейросеть может определить свои количественные параметры. Для «кариеса» и «канала» — размеры полости под пломбу, для «коронки» — толщину и равномерность снятого слоя с боков и сверху зуба. Также имеются качественные показатели — правильно ли выполнено лечение, не сломался ли зуб при удалении и насколько ровные стенки», — отметил Андрей Кокоулин.

Политехники подчеркивают, что в будущем возможно создание мобильного приложения, с помощью которого можно сфотографировать вылеченный зуб (еще без пломбы или коронки) и оценить качество лечения. Также предложенный метод анализа можно применять везде, где требуется съемка различных составных конструкций и механизмов с множеством деталей.

Разработанная учеными ПНИПУ система на основе нейросети значительно улучшает обучение студентов на стоматологическом тренажере и вносит значительный вклад в развитие современной медицинской технологии в России.