Стаття опублікована в журналі «Вісник ПНІПУ. Електротехніка, інформаційні технології, системи управління». Дослідження проводилося за фінансової підтримки Пермського НОЦ «Раціональне надрокористування».
Проект «антропоморфного стоматологічного симулятора» – це тренажер для студентів-стоматологів, на якому студенти можуть безпечно відпрацьовувати свої навички у проведенні основних процедур – лікування карієсу, обробка зуба під коронку, видалення та лікування каналу. Вбудована нейромережа за допомогою відеокамер дозволяє оцінити результати роботи, обробляючи отримані зображення.
Сучасні нейромережі здатні визначати безліч об'єктів різних класів без використання додаткових схем. Зазвичай для пошуку та класифікації об'єктів на фотографіях використовують просту одноступеневу нейромережу. Вона, наприклад, може з високою точністю знаходити зуби в щелепі тренажера, незважаючи на постійні зміни освітленості та самої форми об'єкта в процесі лікування. Але якщо потрібно проаналізувати не сам об'єкт, а тільки його частину, скажімо, невелику пломбу, завдання ускладнюється, зростає кількість хибнопозитивних спрацьовувань. Нейромережа може помилково сприймати відблиски та нерівності всередині порожнини рота за шукані отвори в зубі або зовсім пропускати їх.
Вчені Пермського Політеху розробили двоступеневу схему розпізнавання, яка аналізує фото у пошуках складових об'єктів (окремих зубів), вирізає, нормалізує їх за розмірами та аналізує кожен фрагмент окремо для визначення шуканих дрібних об'єктів (пломб, отворів).
«На першій ступені здійснюється пошук області інтересу, тобто перша нейромережа визначає тільки об'єкти «зуб» і «зуб з діркою». Вони вирізаються і передаються на другу ступінь, де розпізнаються вже отвори в зубах та їх властивості», — пояснює Андрій Кокулін, доцент кафедри автоматики та телемеханіки ПНІПУ, кандидат технічних наук.
Попередня обробка фото особливо актуальна для визначення властивостей малих об'єктів, оскільки їх зміни важче виявити. Вона дозволяє усунути шум, підвищити контрастність і яскравість, а також поліпшити чіткість, що робить зображення більш інформативним. Оскільки зуби мають колір, близький до білого, на них погано видно контури вирізаних отворів. Також заважає відблиск підсвічування, необхідного для роботи камер. Політехніки додатково вбудували в систему програму для покращення контрасту, яка зберігає локальні деталі та структури зображення, що важливо для точного визначення меж дрібних об'єктів на зображенні.
Форма зуба є кривою, і під час процедури важливо обчислювати розміри його меж, глибину отворів і кількість знятої емалі. Для цього вчені розробили метод вимірювання об'єкта складної форми, що дозволяє проводити розрахунки в трьох вимірах.
«Застосування нашої двоступеневої системи збільшило точність до 92 відсотків і зменшило кількість хибнопозитивних спрацьовувань до п'яти відсотків. Для кожного варіанту лікування нейромережа може визначити свої кількісні параметри. Для «карієсу» та «каналу» — розміри порожнини під пломбу, для «коронки» — товщину та рівномірність знятого шару з боків і зверху зуба. А також якісні показники — чи правильно виконано лікування, не зламався чи зуб при видаленні і наскільки рівні стінки», — поділився Андрій Кокулін.
Політехніки зазначають, що в перспективі можливе створення мобільного додатку, за допомогою якого можна сфотографувати вилікуваний зуб (ще без пломби або коронки) і оцінити якість лікування. Також запропонований метод аналізу можна використовувати всюди, де потрібно знімати різні складові конструкції та механізми з безліччю деталей.
Розроблена вченими ПНІПУ система на основі нейромережі суттєво покращує навчання студентів на стоматологічному тренажері, а також вносить великий внесок у розвиток сучасної технологічної медицини в Україні.