Yn GTC Taipei a Computex heddiw, datgelodd NVIDIA Corp. nifer o sgiliau ac offer AI corfforol ffynhonnell agored i helpu datblygwyr roboteg, cerbydau ymreolaethol, AI gweledol, ac efeilliaid digidol diwydiannol. Honnodd y cwmni y gallant helpu i leihau costau, amser a chymhlethdod adeiladu llifoedd gwaith AI corfforol ar raddfa.
Ar gael fel rhan o'rPecyn Cymorth Asiant NVIDIA, bydd y sgiliau newydd yn gadael i asiantau AI gyflymu'r piblinellau cynhyrchu data, efelychu, hyfforddi, gwerthuso a defnyddio y tu ôl i robotiaid, cerbydau ymreolaethol (AVs), ffatrïoedd a labordai, meddai'r cwmni.
“Mae asiantau AI yn chwyldroi datblygiad meddalwedd, ac mae’r newid hwnnw bellach yn dod i AI corfforol, gan ymestyn i’r systemau a fydd yn trawsnewid cludiant, gweithgynhyrchu, gofal iechyd a roboteg,” meddai Jensen Huang, sylfaenydd a Phrif Swyddog Gweithredol NVIDIA, yn GTC Taipei. “Pan all asiantau ddefnyddio llyfrgelloedd, modelau a fframweithiau NVIDIA yn uniongyrchol, bydd datblygiad corfforol AI yn symud yn gyflymach, gan alluogi datblygwyr i adeiladu robotiaid, cerbydau ymreolaethol, a systemau diwydiannol y dyfodol ar gyflymder anhygoel.”
“Mae AI corfforol yn gofyn am lawer iawn o ddata hyfforddi mewn amgylcheddau amrywiol,” nododd y Parch Lebaredian, is-lywydd efelychiad AI corfforol yn NVIDIA. "Mae teleweithrediad, efelychu a data ar raddfa'r rhyngrwyd yn arwain at fodelau sylfaen byd ar gyfer amrywiaeth anfeidrol o achosion defnydd."
Mae NVIDIA yn gwneud asiant stacio AI ffisegol-yn barod
Dywedodd NVIDIA ei fod yn optimeiddio ei stac AI corfforol cyfan ar gyfer asiantau trwy droi llyfrgelloedd, modelau, a fframweithiau yn offer y gellir eu galw'n asiant. Mae hyn yn cynnwys:
Cosmos NVIDIA3 model sylfaen byd ar gyfer rhesymu a chynhyrchu byd ffisegol
NVIDIA omniversellyfrgelloedd ar gyfer efeilliaid efelychu a digidol
NVIDIA Isaacar gyfer efelychu roboteg a dysgu robotiaid
Metropolis NVIDIAar gyfer gweledigaeth AI
NVIDIA Alpamayocanysgyrru ymreolaethol
NVIDIA Jetsonllwyfan ar gyfer datblygu AI ymyl
"Cosmos 3 yw'r model sylfaen ffin ar gyfer AI corfforol," meddai Lebaredian. "Mae'n deall fideos a thestun a gall dynnu sylw at yr hyn sy'n bwysig. Mae Cosmos yn efelychiad corfforol gywir ac mae'n gallu rhagweld beth sy'n digwydd nesaf a chynhyrchu gweithredoedd."
Er mwyn helpu i gymhwyso'r offer hyn, mae NVIDIA yn lansiosgiliau newyddi droi prosesau datblygu AI corfforol yn gyfarwyddiadau ailadroddadwy y gall asiantau codio eu dilyn. Mae hyn yn cynnwys pa offer i'w galw, pa allbynnau i'w cynhyrchu, a sut y gall datblygwyr ddilysu canlyniadau.
Gall datblygwyr hefyd adeiladu a defnyddio asiantau ymreolaethol yn ddiogel gan ddefnyddio'r sgiliau hyn gyda'rNVIDIA NemoClawglasbrint a'rNVIDIA OpenShellruntime, sy'n darparu -rheolaeth diogelwch a phreifatrwydd ar sail polisi ar galedwedd lleol neu gwmwl. Bydd yr asiantau yn rhedeg ar y dibyn yn Jetson ac maent eisoes wedi dangos gwelliannau mewn uptime, meddai Lebaredian.
Dywedodd NVIDIA fod ei sgiliau a'i offer AI corfforol yn cyflymu datblygiad asiantaidd ar draws:
Roboteg ac ymyl AI:Gall datblygwyr robotiaid ddefnyddio sgiliau i gyflymu'r holl waith datblygu roboteg, o gynhyrchu data hyfforddiant canfyddiad a symudedd i efelychu, awtomeiddio hyfforddiant llywio, hyrwyddo dysgu robotiaid, a thiwnio systemau ymyl sy'n seiliedig ar Jetson i'w defnyddio.
Cerbydau ymreolaethol:Ar gyfer datblygwyr clyweledol, gall sgiliau gyfeirio asiantau i ail-greu data a gasglwyd gan fflydoedd i amgylcheddau efelychu, cynhyrchu senarios gyrru ffotorealistig ar raddfa, a rhedeg{0}}dysgu atgyfnerthu dolen gaeedig i ehangu cwmpas hyfforddi a gwerthuso.
Asiantau AI gweledigaeth amser real:Ar gyfer archwilio awtomataidd a deallusrwydd fideo, dywedodd NVIDIA y gall ei sgiliau asiant helpu timau i gynhyrchu data hyfforddi synthetig, mireinio modelau, awtomeiddio labelu, ac adeiladu asiantau AI fideo sy'n chwilio, crynhoi, a dadansoddi fideo byw neu wedi'i recordio.
AI diwydiannol:Gall datblygwyr meddalwedd diwydiannol ddefnyddio'r sgiliau hyn i drosi data peirianneg yn asedau dylunio â chymorth cyfrifiadur (CAD) ar gyfer efeilliaid digidol, gan wneud y gorau o olygfeydd OpenUSD mawr gyda llai o osod â llaw.
Gofal iechyd:Cyn defnyddio awtomeiddio mewn amgylcheddau clinigol, gall timau gofal iechyd arwain asiantau trwy greu efeilliaid digidol o amgylcheddau ysbyty, sim-i-gynhyrchu data go iawn, a meddalwedd-yn{3}}profi polisi dolen.
Gellir cyfuno'r sgiliau a'u hintegreiddio i systemau asiantaidd mwy, yn ôl NVIDIA. Mae hyn yn galluogi datblygwyr i drefnu ac awtomeiddio llifoedd gwaith cymhleth megis cynhyrchu data, efelychu, optimeiddio, tiwnio casgliadau, gwerthuso parhaus, a mwy.
Mae datblygwyr roboteg yn codi pentwr AI corfforol
Mae 1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI, a Universal Robots ymhlith y cwmnïau roboteg sydd eisoes yn defnyddio pentwr AI corfforol parod asiant NVIDIA-.
"Gyda diweddariadau stac yn NVIDIA Isaac GR00T, gellir sefydlu diwedd newydd-i-lenwi llifoedd gwaith mewn oriau yn erbyn wythnosau," meddai Lebaredian. "Mae 'modd omni-yn golygu ei fod yn gweithio gyda gwahanol foddau - fideo, synwyryddion, testun, a sain ar gyfer mewnbynnau ac allbynnau gweithredu."
Yn ogystal, mae Foxconn a Compal yn defnyddio NVIDIA Isaac ar gyfer Gofal Iechyd i gyflymu roboteg ysbytai. Mae Compal yn symud y broses o ddatblygu ei robot PolyMedX ymlaen tuag at lwyfan cerddorfaol ar draws yr ysbyty, gan integreiddio gweithrediadau efelychu, AI a-byd go iawn.
Mae Foxconn yn ehangu Nurabot ar draws nifer o ysbytai ac amgylcheddau gofal tymor hir, gan ddod â roboteg wedi'i bweru gan AI i ofal cleifion, yn ogystal â chyflwyno ei Robot Cydweithredol Nyrs Scrub newydd i helpu i wneud y gorau o lifau gwaith ystafelloedd llawdriniaeth.
Mae arweinwyr diwydiant yn adeiladu gyda thechnolegau NVIDIA
Mae partneriaid NVIDIA a chwsmeriaid ar draws gweithgynhyrchu, cludiant, gofal iechyd a meddalwedd ddiwydiannol yn defnyddio ei lyfrgelloedd AI corfforol i hyrwyddo datblygiad systemau ymreolaethol ac AI diwydiannol.
Wrth i'r llyfrgelloedd hyn ddod yn asiant-yn barod, gall datblygwyr ddefnyddio sgiliau NVIDIA i helpu asiantau i awtomeiddio gosod, gweithredu ac iteriad ar draws llifoedd gwaith AI corfforol cymhleth.
Ym maes gweithgynhyrchu electroneg, mae TSMC a Pegatron yn-fodelau arolygu gweledol tiwnio. Dywedir bod Pegatron wedi lleihau amser hyfforddi a defnyddio model 67% gan ddefnyddio data synthetig a gynhyrchwyd o'r sgil Cynhyrchu Delwedd Diffygion.
Cynhyrchodd Delta Electronics ddata diffygion synthetig a defnyddio'r sgil i ddal sodro gormodol ar fariau bysiau metel, gan wella cyfradd canfod 17%. Datblygodd Inventec ei biblinell archwilio gweledol Asiant Arsylwi trwy integreiddio'r sgil Cynhyrchu Delwedd Diffygion, gan leihau ymdrech casglu data diffygion ar gyfer gweithgynhyrchu siasi gliniadur 30%.
Defnyddiodd Foxconn, gan weithio gyda DeepHow, y sgil i wella effeithlonrwydd gweithgynhyrchu trwy ddal gwallau yn gynnar, gan roi hwb o tua 3% i'r cynnyrch pas cyntaf.
Mewn AI diwydiannol, mae Cadence, Dassault Systèmes, Siemens a Synopsys yn defnyddio llyfrgelloedd Omniverse NVIDIA a sgiliau ar gyfer arolygu data peirianneg, efelychu, ac efeilliaid digidol rhyngweithiol. Mae PTC, MetAI a Lightwheel yn manteisio ar fframwaith NVIDIA Isaac Sim a llifoedd gwaith seiliedig ar OpenUSD i drawsnewid data CAD yn asedau ac amgylcheddau parod efelychu.
Fel rhan o'i fap ffordd "Autonomous Fab 2030", mae SK hynix yn gweithredu gefeilliaid digidol lled-ddargludyddion gan ddefnyddio NVIDIA Omniverse. Mae'r gwneuthurwr sglodion hefyd yn cydweithio â NVIDIA a SK Telecom i ddilysu NVIDIA Agent Toolkit ar gyfer gweithgynhyrchu-AI corfforol penodol.
Mae -datblygwyr hunan-yrru Li Auto, Afari, a DeepRoute.ai yn defnyddio modelau NVIDIA Omniverse NuRec ar gyfer ail-greu a rendrad golygfa niwral. Maent wedi cynhyrchu mwy na 1,000 o adluniadau a mwy na 300,000 o rendradau ac efelychiadau y dydd.
Yn ogystal, mae'r cwmnïau clyweledol yn defnyddio'r ystorfa sgiliau asiant newydd i gyflymu a gwella eu datblygiad o systemau gyrru ymreolaethol mwy diogel a galluog. Mae Foxconn, VinFast, Uber, a HUMAIN wedi ymuno ag ecosystem NVIDIA DRIVE Hyperion i ddatblygu a defnyddio robotaxis SAE Lefel 4.
Mae Alpamayo 2 Super eisoes wedi’i lawrlwytho dros 500,000 o weithiau ac fe’i henwyd yn “Dechnoleg Orau” yn Computex, meddai Spencer Huang, cyfarwyddwr cynnyrch roboteg yn NVIDIA.
Mae offer asiant AI corfforol ar gael nawr
Dywedodd NVIDIA fod ei offer a'i sgiliau asiant AI corfforol ar gael drwoddGitHubasgiliau.shi'w ddefnyddio gydag unrhyw asiant codio.
Sgiliau ac offer asiant ar gyfer cynhyrchu data synthetig -Adluniad Niwral, Ychwanegiad Fideo, Cynhyrchu Delwedd DiffygiolMae - hefyd ar gael ar NVIDIA Brev felLansio AI Corfforol, amgylcheddau wedi'u ffurfweddu ymlaen llaw sy'n bwndelu sgiliau ac offer asiant ar gyfer cynhyrchu a gwerthuso data synthetig yn gyflymach.
Microsoft,CoreWeave, aNebiusyn integreiddio'r sgiliau a'r offer asiant hyn â'u gwasanaethau cwmwl i alluogi datblygwyr i symleiddio a graddio cynhyrchu a defnyddio data synthetig.
Unitree humanoid y cyfeiriad ar gyfer NVIDIA Isaac GR00T
Cyhoeddodd NVIDIA hefyd y NVIDIA Isaac GR00T Reference Humanoid Robot, dyluniad cyfeirio robot humanoid agored a adeiladwyd ar NVIDIA Jetson Thor a llwyfan datblygu NVIDIA Isaac GR00T. Dywedodd y cwmni y bydd hyn yn helpu i ddemocrateiddio mynediad i galedwedd a meddalwedd uwch heb fod angen llwyfannau drud, perchnogol fel diddordeb mewnhumanoids -diben cyffredinolyn cynyddu.
Cyfunodd NVIDIA gorff robot maint llawn â thrin deheuig, synhwyro, rheoli, a chyfrifiadura deallusrwydd artiffisial ar fwrdd y llong:
siasi humanoid Unitree H2,yn sefyll bron i 6 troedfedd (1.8 m) o daldra ac yn pwyso 150 pwys (68 kg), gyda 31 gradd o ryddid ar gyfer profion ar raddfa ddynol.
DeuolTon Sharpadwylo cyffyrddol pum -bys,galluogi trin deheuig gyda 22 gradd o ryddid a dod â'r robot i 75 gradd o ryddid ar draws y corff a'r dwylo.
Synhwyro -golwg lluosog,gan gynnwys camera stereo wedi'i osod ar y pen gyda maes gweld eang (140 gradd llorweddol, 102 gradd fertigol), camerâu arddwrn ar gyfer trin ystod agos ac uned mesur syrthni ar gyfer olrhain symudiadau.
Rheolaeth-corff cyfan,gyda torque braich o hyd at 120 Newton-metr, torque coes o hyd at 360 Newton-metr, llwyth tâl braich graddedig o 7 kg (15.4 lb.) a llwyth tâl brig o 15 kg (33 lb.), gan ddatgloi codi a chyrhaeddiad mwy galluog.
NVIDIA Jetson AGX Thor T5000 ar fwrdd cyfrifiadura,yn cynnwys GPU NVIDIA Blackwell gyda 2,070 teraflops FP4 o berfformiad AI, CPU Braich craidd 14-, 128GB o gof unedig ac ystod pŵer 40- i 130-wat y gellir ei ffurfweddu ar gyfer prosesu synhwyrydd amser real a chasgliad robotiaid.
Cysyllteddar draws Ethernet, Wi{0}}Fi 6, Bluetooth 5.2, USB ac amrywiaeth o ficroffonau a seinyddion ar gyfer rhyngweithio llais.
Batri ar gyfer gweithrediad estynedig,gyda chynhwysedd 15Ah, 0.972kWh a thua thair awr o fywyd.
Ar-arhosfan brys o bellswyddogaeth ar gyfer datgysylltu'r robot yn gyflym yn ddiogel.
Mae platfform Isaac GR00T yn cynnwys:
NVIDIA Isaac Teleopi gasglu data arddangos robotiaid o ansawdd uchel ar gyfer hyfforddiant a datblygu polisi.
Modelau sylfaen agored NVIDIA Isaac GR00Ti gefnogi rhesymu humanoid, dysgu ac ymddygiad amldasg.
NVIDIA Isaac Sim aLab Isaaci efelychu, hyfforddi, profi a gwerthuso polisïau robotiaid cyn eu defnyddio yn y byd go iawn.
Nwyddau canol cyflymedig NVIDIA Isaac ROSi symud polisïau hyfforddedig i robotiaid.
NVIDIA Jetson Thori redeg-amser real, ar-ymgynnull a rheoli robotiaid.
Mae'r system wedi'i chynllunio i fod yn fodiwlaidd, felly gall timau roboteg ddefnyddio'r llwyfan llawn neu integreiddio galluoedd dethol i'r piblinellau datblygu presennol, gan eu helpu i raddfa datblygiad humanoid heb ailadeiladu'r un seilwaith ar gyfer pob robot neu dasg.
Mae sefydliadau ymchwil blaenllaw gan gynnwys Ai2, ETH Zurich, Canolfan Roboteg Stanford, a Labordy Roboteg a Rheolaethau Uwch UC San Diego yn bwriadu defnyddio'r dyluniad cyfeirio hwn i hyrwyddo ymchwil roboteg humanoid.
“Er mwyn gwneud cynnydd tuag at -robotiaid pwrpas cyffredinol, mae ymchwilwyr angen llwyfannau sy’n alluog ac yn hygyrch yn fras," meddai Deepak Pathak, cyd-sylfaenydd a Phrif Swyddog Gweithredol Skild AI. "Mae cynllun cyfeirio yn gadael i fwy o ymchwilwyr gymryd rhan mewn ymchwil humanoid ffin a symud o syniadau i arbrofion yn gyflymach. Mae hyn yn helpu i wthio'r ecosystem ymchwil roboteg gyfan ymlaen."