Применение и перспективы машинного зрения при контроле качества и сортировке фруктов
Традиционная ручная сортировка фруктов заменяется технологией машинного зрения, что знаменует собой революцию в эффективности современного сельского хозяйства.
На сельскохозяйственной производственной, образовательной и исследовательской базе в посёлке Чжунчжуан уезда Июань провинции Шаньдун ящики с яблоками разных оттенков зелёного, красного и размера автоматически сортируются интеллектуальным устройством. Устройство точно сортирует и отсеивает больные и некачественные плоды по размеру, содержанию сахара и цвету.
Эта система проверки фруктов на основе машинного зрения постепенно меняет традиционную практику фермеров, полагающихся на опыт и осязание при определении сорта фруктов, и становится важнейшим компонентом модернизации сельского хозяйства.
1. Технологические преобразования в инспекции качества фруктов
Население мира растёт экспоненциально, примерно на 1,09% в год, что приводит к увеличению спроса на продукты питания и другие товары первой необходимости. В этих условиях сокращение послеуборочных потерь стало ключевой задачей в сельскохозяйственном секторе.
Фрукты и овощи особенно полезны для человека, поскольку содержат множество витаминов, минералов и антиоксидантов. Однако их скоропортящийся характер обуславливает необходимость эффективного и правильного обращения с ними для предотвращения порчи. Сортировка и калибровка — самые важные, сложные и трудоёмкие этапы в послеуборочной цепочке.
Традиционные методы ручного просеивания крайне подвержены повреждению плодов и подходят только для небольших предприятий. В условиях роста населения и сокращения ресурсов сельскохозяйственное производство остро нуждается в более эффективных и точных технологиях контроля качества.
Технология машинного зрения возникла как ответ на эту потребность. Она использует компьютеры для воспроизведения человеческого зрения, заменяя восприятие объективного трёхмерного мира человеческим глазом. Эта междисциплинарная область, охватывающая искусственный интеллект, нейробиологию, психофизику, информатику, обработку изображений и распознавание образов, предлагает новые решения для контроля качества фруктов.
Проверка качества фруктов в первую очередь охватывает как внешнее, так и внутреннее качество. Традиционная внешняя проверка качества обычно проводится с использованием сортировочных машин, которые оценивают фрукты по таким параметрам, как размер и вес. Однако этот метод не позволяет точно оценить цвет, текстуру и поверхностные дефекты.
С развитием технологий машинного зрения системы на основе машинного зрения стали привлекать всё больше внимания к оценке качества и сортировке фруктов. Эти технологии эффективны, быстры, стабильны, экономят время, надёжны и экономичны, позволяя обрабатывать продукцию в соответствии с потребностями рынка. После разработки они практически не требуют специальных знаний и могут применяться в крупномасштабном производстве.
2 основных технических метода машинного зрения
Системы машинного зрения для инспекции фруктов обычно состоят из двух основных подсистем: системы обнаружения дефектов и системы механической сортировки. Аппаратная архитектура модуля транспортировки и сортировки предполагает использование моторизованного конвейера для транспортировки фруктов, а роботизированный манипулятор, соединенный с серводвигателем, сортирует фрукты по соответствующим контейнерам на основе результатов инспекции.
Модуль получения изображений использует цветную камеру в сочетании со светодиодным источником света для устранения теней и позволяет получать RGB-изображения фруктов в замкнутом пространстве. Микроконтроллер координирует результаты обработки изображений с механическими движениями, обеспечивая замкнутый контур управления.
Технические подходы в основном подразделяются на традиционные алгоритмы обработки изображений и методы глубокого обучения.
Системы обработки изображений предварительно преобразуют RGB-изображение в цветовое пространство, например, оттенки серого или HSV, для оптимизации равномерности освещения. Затем выполняется пороговая сегментация для выделения целевой области. Затем применяются морфологические операции, такие как дилатация и эрозия, для удаления шума и улучшения контуров. Наконец, рассчитывается процент дефектной области.
Например, при обнаружении дефектов яблок система определяет окно обработки изображения, использует оператор Собеля и оператор Хилдича для уточнения границ и определяет центроид, представляющий диаметр плода, тем самым определяя его общий размер и внешний вид. Решения для глубокого обучения объединяют общедоступные наборы данных с самостоятельно собранными изображениями для создания обучающей библиотеки и улучшения обобщения модели с помощью методов аугментации данных, таких как поворот, переворот и размытие. Для учета характеристик различных фруктов могут быть разработаны специализированные структуры сверточных сетей.
В исследовании, проведенном в Фейсалабадском сельскохозяйственном университете, были разработаны специализированные сверточные сети для манго и томатов соответственно: модель манго использовала 7-слойную сверточную структуру, а модель томата — 5-слойную сверточную структуру, обе использовали классификатор SoftMax для вывода.
В последние годы серия алгоритмов YOLO стала новым выбором для обнаружения фруктов. Благодаря оптимизации структуры основной сети и внедрению механизма динамического внимания, YOLOv8 может точнее фиксировать изменения текстуры кожуры фруктов, различия в цвете и морфологические характеристики, значительно повышая точность определения гнилых участков.
Последняя версия YOLOv10 даже устраняет необходимость в подавлении немаксимальных сигналов (NMS), сокращая вычислительные затраты и дополнительно повышая эффективность обнаружения.
3 технических преимущества и прорыва
По сравнению с традиционным ручным контролем, системы машинного зрения обладают рядом технических преимуществ. Что касается эффективности контроля, четырёхканальная машина для цитрусовых может обрабатывать от 12 до 15 тонн фруктов за час, что ранее эквивалентно почти недельному труду одного работника.
Что касается точности контроля, модель глубокого обучения на основе сверточных нейронных сетей (CNN) имеет подтвержденную точность обнаружения дефектов манго 95% и томатов 93,5%. В реальных условиях применения интеллектуальное сортировочное оборудование обеспечивает общую точность обнаружения поверхностных дефектов 97% и точность внутреннего контроля качества 95%.
Система машинного зрения обладает возможностями многопараметрического контроля и способна одновременно оценивать множество параметров характеристик фруктов, включая размер, форму, цвет и дефекты поверхности.
Для определения размера исследователи перемещают и вращают плод, чтобы получить изображения под разными углами, вычисляют экваториальный радиус и площадь плодоовощной массы, а также оценивают ее размер, рассматривая плод как эллипсоид.
Что касается определения цвета, то некоторые фрукты имеют один цвет, равномерно распределенный по всей кожуре (основной цвет), в то время как другие (например, персики, яблоки и помидоры) имеют вторичные цвета, которые могут служить хорошим индикатором спелости.
Обнаружение дефектов поверхности — ещё одно преимущество систем машинного зрения, которые способны обнаруживать поверхностные пятна, повреждения и царапины на фруктах. Например, красновато-коричневый цвет яблок сорта «Голден Делишес» можно определить и классифицировать с помощью специального алгоритма.
Экономические выгоды не менее значительны. После внедрения интеллектуального сортировочного оборудования затраты предприятий на переработку значительно сократились: с 600-800 юаней за тонну до 100 юаней за тонну, то есть снижение затрат составило более 80%. Это не только повышает эффективность сельскохозяйственного производства, но и приносит ощутимую экономическую выгоду фермерам, выращивающим фрукты.
4 практических примера применения
Применение машинного зрения для контроля качества фруктов показало свою эффективность во многих основных регионах производства фруктов по всему Китаю. В районе Умин города Наньнин провинции Гуанси, где выращивают апельсины сорта «Воган», интеллектуальное оборудование успешно решило задачу классификации апельсинов сорта «Воган» по внешним дефектам.
Раньше местные производители полагались на работников, которые визуально сортировали апельсины сорта «Воган», что было неэффективно и не позволяло выявить внутренние повреждения. Интеллектуальное оборудование способно различать «плоды с грубой кожицей», «плоды с язвами» и «плоды в форме солнца», что значительно повысило стандартизацию апельсинов сорта «Воган» и сделало Wuming Wogan известным на всю страну фруктовым брендом.
Что касается осмотра яблок, исследователи разработали систему, специально предназначенную для осмотра и оценки яблок по их внешнему виду. Система сначала делает три изображения, покрывающих всю поверхность яблока, а затем извлекает поверхностные характеристики.
Форма яблока описывается оператором Фурье, и нейронная сеть, основанная на алгоритме L-M, сортирует яблоки по форме. Функция определения цвета преобразует значения RGB изображения в гистограмму (HIS), генерируя гистограмму цветности. Затем для оптимизации нейронной сети для цветокоррекции используется алгоритм оптимизации роя частиц.
Исследовательская группа из Сельскохозяйственного университета в Фейсалабаде разработала специализированные системы контроля, адаптированные к характеристикам манго и томатов. Экспериментальные испытания показали, что алгоритм обработки изображений обеспечивает точность обнаружения дефектов 89% и 92% для манго и 95% для томатов соответственно. При использовании архитектуры сверточной нейронной сети точность проверки для этих двух фруктов достигла 95% и 94%.
В коммерческих целях интеллектуальные устройства использовались для проверки и упаковки более 20 видов фруктов, включая яблоки, цитрусовые, апельсины, чернослив, зимние финики и сливы. Эти устройства использовались почти в 10 провинциях, муниципалитетах и автономных районах, включая Юньнань, Гуанси, Хубэй и Синьцзян, и в общей сложности проинспектировали и упаковали миллионы тонн различных фруктов.
5 проблем и будущих тенденций развития
Несмотря на значительный прогресс в области машинного зрения в инспекции фруктов, оно по-прежнему сталкивается с рядом проблем. Сложные характеристики поверхности фруктов, такие как вариации цвета, разнообразие текстур и неровная форма, затрудняют точный контроль.
Пороговая сегментация может легко дать сбой при низком контрасте между кожурой фрукта и фоном или при неравномерном освещении. Например, желто-зеленый градиент на кожуре манго может быть ошибочно принят за дефект, что приведет к высокому уровню ложноположительных результатов.
Различия между разными сортами фруктов также усложняют проверку, требуя разработки индивидуальных решений для каждого фрукта.
Тенденции будущего развития будут характеризоваться следующими характеристиками: Технологическая конвергенция будет способствовать переходу к мультимодальному контролю фруктов, сочетающему спектральное обнаружение, рентгеновское обнаружение, обнаружение с помощью электронного носа и ядерно-магнитного резонанса для достижения более комплексной оценки качества.
Ключевым направлением станет динамическое обнаружение. В будущем технологии контроля качества фруктов будут развиваться от статического обнаружения к динамическому, предъявляя более высокие требования к стабильности оборудования и точности программного обеспечения для обработки изображений.
Встроенная интеграция сделает системы более легкими, а легкие модели на базе периферийных вычислений станут объектом исследований для удовлетворения требований обработки в реальном времени.
Интеллектуальное принятие решений будет продолжать совершенствоваться, переходя от контроля качества отдельных продуктов к комплексному управлению качеством, интегрируя анализ больших данных для прогнозирования срока годности фруктов и рыночного спроса. Индустрия сортировки фруктов прошла четыре этапа развития: на этапе 1.0 основное внимание уделялось размеру, на этапе 2.0 были добавлены сортировка и классификация по весу, на этапе 3.0 больше внимания уделялось цвету, а на этапе 4.0 началось изучение выявления внешних дефектов и внутреннего качества.
В настоящее время китайские компании достигли уровня механизации, сопоставимого с мировыми стандартами в сортировке фруктов, и даже находятся на переднем крае алгоритмов искусственного интеллекта.
Благодаря постоянному развитию технологий системы визуальной инспекции фруктов будут становиться всё более интеллектуальными и сложными. Новые алгоритмы, такие как YOLOv10, устраняют необходимость в системах управления сетью (NMS), снижая вычислительные затраты. В будущем, возможно, появятся ещё более лёгкие модели, встраиваемые непосредственно в смартфоны или портативные устройства, что позволит потребителям проводить проверку качества фруктов в любое время.
Применение интеллектуальных устройств на производственной площадке компании Wogan (Wugan) в Ухане показало, что грамотная сортировка Wogan не только повышает качество, но и расширяет каналы сбыта, а также способствует устойчивому росту доходов фермеров. Этот «технологический тренд» коренным образом меняет представление о традиционном сельском хозяйстве как о «скучном и неотшлифованном», привнося в сельскохозяйственное производство инновации и энергию.
