ChatGPT: చాట్‌జీపీటీలో మీరు అడిగే ప్రశ్నకు ఎంత ఎనర్జీ ఖర్చవుతుందో మీకు తెలుసా?
ఈ వార్తాకథనం ఏంటి
జనరేటివ్ AI ప్రజలలో సర్వసాధారణం అవుతున్న కొద్దీ, దాని శక్తి వినియోగం, కార్బన్ ఉద్గారాల గురించి ప్రశ్నలు మరింత ముఖ్యమైనవిగా మారుతున్నాయి. ఓపెన్ఏఐ CEO సామ్ ఆల్ట్‌మాన్ ఇటీవల మాట్లాడుతూ, "సగటు చాట్‌జీపీటీ ప్రశ్న" ఒక సెకను కంటే ఎక్కువ సమయం ఓవెన్‌కు సమానమైన శక్తిని ఉపయోగిస్తుందని అన్నారు. AI పరిశోధన సంస్థ Epoch AI గతంలో ఇలాంటి అంచనాను లెక్కించినందున, ఈ అంచనా హేతుబద్ధమైన పరిధిలో ఉంది. అయితే, నివేదికలో ఖచ్చితమైన సమాచారం లేదని, ముఖ్యంగా "సగటు" ప్రశ్న అంటే ఏమిటో తెలియదని నిపుణులు విశ్వసిస్తున్నారు.
ఉద్గార అసమతుల్యత
వివిధ AI మోడళ్లలో వైవిధ్యం
జూన్ 19న ఫ్రాంటియర్స్ ఇన్ కమ్యూనికేషన్‌లో ప్రచురితమైన ఒక అధ్యయనం మెటా, డీప్‌సీక్‌తో సహా 14 ఓపెన్-సోర్స్ లార్జ్ లాంగ్వేజ్ మోడళ్లను (LLMలు) పరిశీలించింది .కొన్ని మోడల్‌లు ఇతరులకన్నా 50 రెట్లు ఎక్కువ CO2ను విడుదల చేశాయని పరిశోధన ఫలితాలు వెల్లడించాయి. వివిధ AI మోడళ్లలో కార్బన్ ఉద్గారాలలో వైవిధ్యాన్ని డేటా హైలైట్ చేస్తుంది, ఇది ఉద్దీపనకు సగటు శక్తి వినియోగాన్ని అంచనా వేసే పనిని మరింత క్లిష్టతరం చేస్తుంది.
శక్తి వినియోగం
LLMలు ఎందుకు అంత శక్తివంతమైనవి?
పెద్ద భాషా నమూనాలు (LLMలు) వాటి పెద్ద సంఖ్యలో పారామితుల కారణంగా అధిక శక్తిని వినియోగించడంలో ప్రసిద్ధి చెందాయి. ఈ అంతర్గత శిక్షణ నమూనాలు పనితీరును మెరుగుపరచడానికి శిక్షణ సమయంలో ట్యూన్ చేయబడతాయి. ఒక మోడల్‌కు ఎక్కువ పారామీటర్స్ ఉంటే, డేటాలోని నమూనాలు,సంబంధాలను నేర్చుకునే దాని సామర్థ్యం అంత ఎక్కువగా ఉంటుంది. ఉదాహరణకు, GPT-4 ట్రిలియన్ పారామీటర్ లను కలిగి ఉందని అంచనా. ప్రపంచవ్యాప్తంగా అతిపెద్ద డేటా కేంద్రాలలో గ్రాఫిక్స్ ప్రాసెసింగ్ యూనిట్లు (GPUలు) అని పిలువబడే శక్తివంతమైన చిప్‌లపై నడుస్తుంది.
ఉద్గార రేటింగ్
శిక్షణ v/s ఊహించిన ఉద్గారాలు
LLM శిక్షణకు విస్తారమైన డేటాసెట్‌లను ప్రాసెస్ చేయడం, అంతర్గత పారామీటర్స్ ను ట్యూన్ చేయడం అవసరం. దీనికి వారాలు, వేల GPUలు పడుతుంది. అయితే, కంపెనీలు తమ శిక్షణా పద్ధతులను చాలా అరుదుగా వెల్లడిస్తాయి, కాబట్టి ఈ ప్రక్రియ నుండి వచ్చే ఉద్గారాలు ఎక్కువగా తెలియవు. అనుమితి లేదా వినియోగదారు ఉద్దీపనలకు మోడల్ ప్రతిస్పందన కాలక్రమేణా మోడల్ ఉద్గారాలలో ఎక్కువ భాగాన్ని పరిగణనలోకి తీసుకుంటుందని భావిస్తున్నారు. కానీ శిక్షణ మాదిరిగానే, ప్రశ్న పర్యావరణ ప్రభావాన్ని అంచనా వేయడం డేటా సెంటర్ స్థానం, దానికి శక్తినిచ్చే పవర్ గ్రిడ్ వంటి అంశాల ద్వారా సంక్లిష్టంగా ఉంటుంది.
పరిశోధన ఫలితాలు
ఓపెన్ సోర్స్ నమూనాల నుండి ఊహించిన ఉద్గారాలను అధ్యయనం కొలుస్తుంది
OpenAI, ఆంత్రోపిక్ వంటి కంపెనీల యాజమాన్య నమూనాలు బహిరంగంగా అందుబాటులో లేనప్పటికీ, Meta, DeepSeek వంటి ఇతర కంపెనీలు వారి AI ఉత్పత్తుల ఓపెన్-సోర్స్ వెర్షన్‌లను విడుదల చేశాయి. పరిశోధకులు ఈ మోడళ్లను స్థానికంగా అమలు చేయవచ్చు. అనుమితి విద్యుత్ వినియోగానికి ప్రాక్సీగా వారి GPU వినియోగించే శక్తిని కొలవవచ్చు. జూన్‌లో జరిగిన ఒక అధ్యయనం NVIDIA A100 GPUపై 14 ఓపెన్-సోర్స్ AI మోడళ్లను పరీక్షించింది. హేతుబద్ధమైన నమూనాలు స్టాటిక్ వాటి కంటే అనుమితి సమయంలో ఎక్కువ శక్తిని ఉపయోగించాయని కనుగొన్నారు. ఎందుకంటే అవి ప్రశ్నకు ఎక్కువ టోకెన్లను ప్రాసెస్ చేశాయి.
విద్యుత్ వినియోగం
హేతుబద్ధ నమూనాలు ప్రతి ప్రశ్నకు 543.5 టోకెన్లను ఉపయోగిస్తాయి
సగటున, రీజనింగ్ మోడల్‌లు ఒక్కో ప్రశ్నకు 543.5 టోకెన్లను ఉపయోగిస్తాయి. ప్రామాణిక మోడల్‌లు ఉపయోగించే 37.7 టోకెన్‌ల కంటే చాలా ఎక్కువ. స్కేల్‌లో, ఉద్గారాలు జోడించబడతాయి. 70 బిలియన్-పారామీటర్ రీజనింగ్ మోడల్ డీప్‌సీక్ R1తో 600,000 ప్రశ్నలకు సమాధానం ఇవ్వడం వలన లండన్, న్యూయార్క్ మధ్య రౌండ్-ట్రిప్ ఫ్లైట్‌లో వచ్చేంత CO₂ ఉత్పత్తి అవుతుంది. నిజమైన ప్రభావం ఇంకా ఎక్కువగా ఉండవచ్చు. ప్రస్తుతం,డేటా సెంటర్‌లు మొత్తం US విద్యుత్ వినియోగంలో AI అవసరాలతో సహా, 4.4% వాటాను కలిగి ఉన్నాయి. ఆ వాటా 2028 నాటికి 12%కి పెరగవచ్చు.
ఉద్గార కారకాలు
మోడల్ కార్బన్ పాదముద్రను ప్రభావితం చేసే అంశాలు
AI మోడల్ కార్బన్ పాదముద్ర దాని పారామీటర్ల సంఖ్య, దాని నిర్మాణం, దానికి ఎలా శిక్షణ ఇవ్వబడింది వంటి అనేక అంశాల ద్వారా నిర్ణయించబడుతుంది. అయితే, ఈ వివరాలను తరచుగా కంపెనీలు బహిర్గతం చేయవు. ప్రశ్న పర్యావరణ ప్రభావం అది ఏ డేటా సెంటర్‌కు వెళుతుంది, రోజు లేదా సీజన్ సమయం వంటి ఇతర వేరియబుల్స్‌పై ఆధారపడి విస్తృతంగా మారవచ్చు.