Az NVIDIA csendben, minden különösebb hírverés nélkül tette közzé Flora néven azt a nyílt forráskódú AI-modellcsaládot, amely a robotika egyik legfájdalmasabb szűk keresztmetszetét hivatott felszámolni: a tanításhoz szükséges, gigantikus méretű és aprólékosan felcímkézett adathalmazok létrehozását. Ahelyett, hogy hús-vér emberek seregei körmölnék le manuálisan a robotok minden egyes mozdulatát, a Flora automatizálja a folyamatot, megkímélve a kutatókat az örökkévalóságig tartó, lélekölő annotálástól. A modellek már elérhetőek a Hugging Face platformján.
A Flora-csomag lényegében egy eszköztár egy robotikai „adatmotor” felépítéséhez. Három alapvető modellt tartalmaz, amelyek a robot tapasztalatait hivatottak értelmezni. A Flora-Captioner állóképeket elemezve készít részletes szöveges leírást a látott jelenetről. A Flora-TempSeg a videókkal birkózik meg: hajszálpontosan beazonosítja az egyes mozdulatok kezdetét és végét. Végül pedig ott a Flora-Rewarder, amely végignéz egy videót, majd részletes „bizonyítványt” állít ki a látottakról – ez pedig kritikus visszacsatolás a megerősítéses tanuláshoz (reinforcement learning). Ez a különbség egy szimpla „sikerült/nem sikerült” visszajelzés és aközött, amikor valaki elmagyarázza, miért ejtette el a robot már megint azt a kávéscsészét.
Miért akkora szám ez?
A modern robotika szent grálja egy olyan általános célú AI, amely képes hatalmas adatmennyiségből tanulni, hasonlóan a mai nagy nyelvi modellekhez (LLM). Csakhogy az internetről lehalászott szövegekkel ellentétben a robotikai adatok – például egy csavarral szerencsétlenkedő megfogókar videója – kaotikusak, és hiányoznak róluk a leíró címkék. Jelenleg ezen címkék kézi előállítása a fejlődés legfőbb gátja. A Flora nyílt forráskódúvá tételével az NVIDIA nem csupán egy újabb szoftvert dobott ki; megpróbálja egységesíteni az egész iparág adatfeldolgozási folyamatainak alapjait. Ez egy mesteri stratégiai húzás: elérik, hogy ahogy a robotok okosodnak, egy olyan adatarchitektúrára támaszkodjanak, amelyet az NVIDIA ökoszisztémája inspirált és arra is optimalizáltak. További technikai részletek az NVIDIA Research hivatalos projektoldalán olvashatók.
