Research on Grapevine Recognition, Manipulation and Winter Pruning Automation

The main purpose of this thesis is to develop and test autonomous robot systems to realize the perceptual identification and inference of grapevines and then perform the pruning manipulation with the aim to automate grapevine winter pruning. Grapevine winter pruning is an important practice in viticulture aimed at improving plant growth, productivity, and fruit quality in the next harvest season. Winter pruning requires skilled seasonal workers which are becoming less available in several wine districts, however, the low efficiency of the manual pruning method is no longer suitable for the development of the wine industry. Robotic pruning is a potential solution to deal with the issue of labor shortage and high vineyard management costs. However, numerous challenges are involved in the successful adoption of robotic pruning technologies. As a result, the purpose of this thesis is to perform research on autonomous selective winter spur pruning by using viticulture, pattern recognition, and robotics technologies. Such a process of automation mainly includes spur detection and recognition, determination and location of pruning points, robotics pruning manipulation, and the development of robotic pruning systems according to the technical analysis of the grapevine pruning robot. Among all the processes, the related research of spur detection and recognition and robotics pruning manipulation is far from the mature stages. Therefore, this thesis mainly carries out in-depth research on these aspects, and the specific contents for research are reported below: The first topic is to provide hierarchical guidelines for a translation of the human cognition process into algorithms for automated grapevine recognition and robotized pruning. Multiple combinations of integrated general rules driving the winter pruning process with specifically conceived case studies composed a dedicated database for developing a perception system for the recognition of grapevine architecture and identification of target regions and pruning points. The second topic is to integrate electric shears into a robot manipulator to autonomously perform the pruning points approach from the output of the first action. We proposed a novel planning framework "Three-phase Approach Planning" (TAP) to guide shears to approach pruning points. The designed motion planner is highly manipulative to approach the target pruning points precisely while avoiding collisions with the grapevine cordon and canes, so that robot doesn't disrupt the condition of the grapevine. Otherwise, the robot can hurt the dormant buds, hence impacting vine growth and productivity. The third topic is to study the pruning cut control technology of the grapevine pruning robot for reducing mechanical damage to the grapevine and improving the success rate of pruning. To achieve a human-like interactive pruning cut, we designed a learning-based compliant controller to learn impedance profiles from human demonstration, which reduces the possibility of the blade of shears getting stuck in canes. The main contributions of this thesis are a comprehensive methodology to analyze the grapevine winter pruning operation including perception and manipulation paradigm and hereby design an overall scheme of the grapevine pruning robot system with the combination of a mobile platform and robot manipulator. In addition, it verifies the feasibility and the value in engineering application of the entire scheme of the grapevine pruning robot by means of simulation and experiments, confirming the practical value of related technology in engineering.

Lo scopo principale di questa tesi è sviluppare e testare sistemi robotici autonomi per realizzare l'identificazione e specifiche parti della pianta di vite. L’obiettivo è quello di automatizzare la potatura invernale della vite. La potatura invernale della vite è una pratica importante in viticoltura, finalizzata a migliorare la crescita delle piante, la produttività e la qualità dei frutti in vista della stagione vendemmiale successiva. Questa pratica richiede manodopera stagionale qualificata, sempre meno disponibile in diversi distretti vitivinicoli. Inoltre, la scarsa efficienza della di potatura manuale, la rende una pratica poco adatta per l’industria vitivinicola. Per questo motivo, la potatura robotica potrebbe essere una potenziale soluzione per affrontare il problema della carenza di manodopera e degli elevati costi di gestione dei vigneti. Tuttavia, le tecnologie di potatura robotizzata comportano numerose sfide. Di conseguenza, lo scopo di questa tesi è quello di condurre una ricerca per automatizzare la potatura dello sperone, utilizzando tecniche già applicate in vigneto integrate a tecnologie robotiche e del riconoscimento dei modelli. Tale processo di automazione comprende principalmente il rilevamento e il riconoscimento dello sperone, la determinazione e la localizzazione dei punti di potatura, la manipolazione robotica della potatura e lo sviluppo di sistemi di potatura robotica in base all'analisi tecnica del robot di potatura della vite. Tra tutti i processi, il rilevamento e al riconoscimento automatico degli speroni e la manipolazione robotica della potatura sono ancora poco studiati . Pertanto, questa tesi svolge principalmente una ricerca approfondita su questi aspetti e i contenuti specifici della ricerca sono riportati di seguito: Il primo tema è quello di fornire linee guida gerarchiche per la traduzione del processo cognitivo umano in algoritmi per il riconoscimento automatico della vite e la potatura robotizzata. Combinazioni multiple di regole generali integrate che guidano il processo di potatura invernale con casi studio specificamente pensati hanno composto un database dedicato per lo sviluppo di un sistema di percezione per il riconoscimento dell'architettura della vite e l'identificazione di regioni e punti target di potatura. Il secondo tema è l'integrazione di cesoie elettriche in un manipolatore robotico per eseguire autonomamente il taglio nei punti di potatura a partire dall'output della prima azione. Abbiamo proposto un nuovo framework di pianificazione "Three-phase Approach Planning" (TAP) per guidare le cesoie ad avvicinarsi ai punti di potatura. Il pianificatore di movimento progettato è altamente manipolativo per avvicinarsi con precisione ai punti di potatura target, evitando al contempo le collisioni con il cordone della vite, in modo che il robot non perturbi la pianta. In caso contrario, il robot potrebbe danneggiare le gemme dormienti, compromettendo la crescita e la produttività della vite. Il terzo argomento è lo studio della tecnologia di controllo del taglio di potatura del robot di potatura della vite per ridurre i danni meccanici alla vite e migliorare il tasso di successo della potatura. Per ottenere un taglio di potatura interattivo simile a quello umano, abbiamo progettato un controllore conforme basato sull'apprendimento dei profili di impedenza dalla dimostrazione umana, che riduce la possibilità che la lama delle cesoie si incastri nei fili che reggono la pianta. I principali risultati che questa tesi ha portato sono: una metodologia completa per analizzare l'operazione di potatura invernale della vite, compresi i paradigmi di percezione e manipolazione; la progettazione di uno schema generale del sistema robotico di potatura della vite con la combinazione di una piattaforma mobile e di un manipolatore robotico. Inoltre, si verifica la fattibilità e il valore nell'applicazione ingegneristica dell'intero schema del robot di potatura della vite mediante simulazioni ed esperimenti, confermando il valore pratico della tecnologia correlata nell'ingegneria.