Gemini AI models: పెద్ద డేటాసెట్‌లను విశ్లేషించడానికి కష్టపడుతున్న గూగుల్ జెమినీ AI మోడల్‌లు
రెండు ఇటీవలి అధ్యయనాలు గూగుల్,ఫ్లాగ్‌షిప్ జనరేటివ్ AI మోడల్స్, Gemini 1.5 Pro , 1.5 Flash, పెద్ద మొత్తంలో డేటాను ప్రాసెస్ చేయడం చేయడం లేదని గుర్తించారు. దీనితో వీటి సమర్థత గురించి ప్రశ్నలు తలెత్తుతున్నాయి. ఈ మోడల్‌లు సుదీర్ఘమైన పత్రాలను సంగ్రహించడంలో లేదా ఫిల్మ్ ఫుటేజీలో శోధించడంలో అంత నైపుణ్యం కలిగి ఉండకపోవచ్చని పరిశోధనలు చెప్పే మాట. "జెమిని 1.5 ప్రో వంటి మోడల్‌లు సాంకేతికంగా సుదీర్ఘ సందర్భాలను ప్రాసెస్ చేయగలవు. మోడల్‌లు వాస్తవానికి కంటెంట్‌ను 'అర్థం చేసుకోలేవని' సూచించే అనేక సందర్భాలను తాము గమనించామని , ఒక అధ్యయనం సహ రచయిత మార్జెనా కార్పిన్స్కా పేర్కొన్నారు.
అధ్యయనాలు జెమిని AI మోడల్‌ల అసమర్థతను వెలుగులోకి తెస్తాయి.
పెద్ద డేటాసెట్‌లను విశ్లేషించే Google ,జెమిని మోడల్‌ల సామర్థ్యాన్ని అధ్యయనాలు పరీక్షించాయి. జెమిని 1.5 ప్రో, 1.5 ఫ్లాష్‌లు ఈ డేటాసెట్‌ల గురించిన ప్రశ్నలకు సరిగ్గా సమాధానం ఇవ్వడానికి చాలా కష్టపడుతున్నాయని ఫలితాలు చూపించాయి. 40% నుండి 50% సమయం మాత్రమే ఖచ్చితమైన ప్రతిస్పందనలను అందిస్తాయి. 1.4 మిలియన్ పదాలు, రెండు గంటల వీడియో లేదా 22 గంటల ఆడియోకు సమానమైన రెండు మిలియన్ టోకెన్‌లను సందర్భోచితంగా ప్రాసెస్ చేయగల సామర్థ్యం ఉంది. అయిప్పటికీ , మోడల్‌లు పెద్ద మొత్తంలో డేటాను అర్థం చేసుకోవడానికి , తర్జుమా చేయడంలో ఇబ్బంది పడుతున్నారని కార్పిన్స్కా గుర్తించారు.
నిర్దిష్ట పనులలో పనితీరు
ఒక అధ్యయనంలో, మోడల్‌లు ఇటీవలి ఆంగ్ల కల్పిత పుస్తకాల గురించి నిజమైన/తప్పుడు ప్రకటనలను మూల్యాంకనం చేయగల సామర్థ్యంపై పరీక్షించారు. జెమిని 1.5 ప్రో కేవలం 46.7% సమయం మాత్రమే సరిగ్గా సమాధానం చెప్పిందని ఫలితాలు వెల్లడించాయి. అయితే Flash 20% కంటే తక్కువ ఖచ్చితత్వాన్ని కలిగి ఉంది. మరొక అధ్యయనం 25 చిత్రాల "స్లైడ్‌షో" నుండి చేతితో వ్రాసిన అంకెలను అంతే సరిసమానమైన భాషలోకి తీసుకురాలేకపోతున్నాయి. కానీ మోడల్ దాదాపు 50% ఖచ్చితత్వాన్ని సాధించింది. ఇది ఎనిమిది అంకెలతో వ్యవహరించేటప్పుడు దాదాపు 30%కి పడిపోయింది.
AIలో మెరుగైన బెంచ్‌మార్క్‌ల కోసం కాల్స్
ఇంకా సమగ్రంగా సమీక్షించని అధ్యయనాలు, గూగుల్ తన జెమిని మోడల్‌ల సామర్థ్యాలను ఎక్కువగా చూపి ఉండవచ్చని సూచిస్తున్నాయి. మైఖేల్ సాక్సన్, మరొక సహ-రచయిత, ఉత్పాదక AI చుట్టూ హైప్-అప్ క్లెయిమ్‌లను ఎదుర్కోవడానికి మెరుగైన బెంచ్‌మార్క్‌లు అవసరమన్నారు. థర్డ్-పార్టీ విమర్శలకు ఎక్కువ ప్రాధాన్యత ఇవ్వాల్సిన అవసరాన్ని గట్టిగా చెప్పారు."ఆబ్జెక్టివ్ సాంకేతిక వివరాల ఆధారంగా 'మా మోడల్ X సంఖ్య టోకెన్‌లను తీసుకోగలదు' అనే సాధారణ దావాలో తప్పు ఏమీ లేదు. కానీ ప్రశ్న ఏమిటంటే, దానితో మీరు ఏమి చేయగలరు?" ఆయన పేర్కొన్నారు.
పరిశోధన ఫలితాలపై Google ఇంకా స్పందించలేదు
ప్రస్తుతానికి, Google తన జెమిని AI మోడల్‌ల నైపుణ్యాన్ని ప్రశ్నిస్తూ ఈ అధ్యయనాల ఫలితాలకు ప్రతిస్పందన తలపలేదు. పెద్ద మొత్తంలో డేటాను ప్రాసెస్ చేయడంలో ఆకట్టుకునే సామర్థ్యం ఉంది . అయినప్పటికీ, మోడల్‌లు దానిపై అవగాహన తార్కికంతో పోరాడవచ్చని పరిశోధన సూచిస్తుంది. ఇది జెమిని 1.5 ప్రో , 1.5 ఫ్లాష్ సామర్థ్యాలకు సంబంధించి Google క్లెయిమ్‌ల చెల్లుబాటు గురించి ప్రశ్నలను లేవనెత్తుతుంది. ప్రత్యేకించి పెద్ద డేటాసెట్‌లు లేదా సంక్లిష్టమైన ప్రావీణ్యంతో కూడిన టాస్క్‌లలో.
AI అభివృద్ధిలో పారదర్శకతను పరిశోధకులు కోరారు
AI మోడల్స్ ప్రాసెసింగ్ సామర్థ్యాల గురించి వివరాలను పంచుకోవడంలో కంపెనీల నుండి మరింత పారదర్శకత అవసరమని కార్పిన్స్కా నొక్కి చెప్పారు. "సుదీర్ఘ పత్రాలపై 'తార్కికం' లేదా 'అవగాహన' జరుగుతోందని నిజంగా చూపించే మార్గంలో తాము వుండబోమన్నారు. ... ఎంతకాలం సందర్భోచిత ప్రాసెసింగ్ అమలు చేయనుందో తెలియకుండా... ఇవి ఎంత వాస్తవికమైనవి అని చెప్పడం కష్టం. Google ఉత్పాదక AI మోడల్స్ సమర్థత , విశ్వసనీయత గురించి జరుగుతున్న విసృత చర్చకు పిలుపు దోహదపడుతుంది.
