Rozumějí našemu jazyku, mluví s námi a třeba i píšou básně. Úspěchy velkých jazykových modelů, jako je GPT-4 nebo Gemini, jsou impozantní. Otevírají nové možnosti v tak rozmanitých oblastech života, jako jsou komunikace, učení a kreativita. 

Přes všechny zázraky má však tato nová technologie i jednu málo zmiňovanou stinnou stránku: jazykové schopnosti modelů jsou založeny na umělých neuronových sítích s miliardami parametrů a jejich trénink a provoz spotřebovává obrovské množství elektrické energie. Počet uživatelů chatbotů přitom rychle roste, což způsobuje, že nezadržitelně roste i spotřeba energie.

Podle pesimistických odhadů může dotaz na chatbota stát až 30krát více energie než prosté vyhledávání na internetu pomocí klíčových slov. Extrapolováno na současných devět miliard dotazů na Google by to znamenalo potřebu elektřiny v řádu spotřeby malé země, jako je třeba Irsko. A dokonce i počáteční trénink velkého jazykového modelu si obvykle vyžádá náklady na elektřinu ve výši jednotek až desítek milionů korun). 

Spotřeba energie neznámá 

Abychom mohli tuto spotřebu účinně snížit, je třeba ji nejprve podrobně znát. „Podle našich zkušeností však tvůrci těchto modelů sami často nevědí, k čemu přesně energii využívají,“ říká Peter Radgen, profesor Institutu energetického hospodářství a racionálního využívání energie na Univerzitě v německém Stuttgartu. V projektu NADIKI (česky Ukazatele udržitelnosti pro digitální infrastrukturu a AI) si jeho tým stanovil za cíl zpřístupnit a zprůhlednit spotřebu energie a související emise CO₂ realizované aplikacemi umělé inteligence. 

Profesor Radgen vidí možné východisko v udržitelnějším využívání kapacit datových center umělé inteligence. „Efektivita je vždy nejvyšší, když počítače pracují na optimální kapacitu,“ vysvětluje výzkumník. Servery jsou však často nečinné a spotřebovávají energii, aniž by pracovaly produktivně. „Je to jako nechat v autě neustále běžet motor jen proto, abyste mohli kdykoli okamžitě odjet.“ Podrobná analýza open source jazykového modelu BLOOM odhalila, že třetina energie spotřebované na trénování byla vyplýtvána právě na nečinné počítače. 

„Proto je naším cílem v rámci projektu NADIKI umožnit měření spotřeby energie až na úrovni jednotlivých počítačů,“ říká Radgen. „Jedině tak mohou vývojáři aplikací umělé inteligence získat představu o spotřebě energie, kterou způsobují.“ To je důležité i proto, že řešení jedné a téže úlohy může spotřebovávat různé množství energie – podle toho, kolik dalších znalostí je programátor ochoten do své umělé inteligence nacpat. „Jak je k dispozici stále výkonnější hardware, vývojáři často volí jednodušší cestu a nechají hledat řešení AI, místo aby přemýšleli sami,“ říká Radgen. Modely berou v úvahu stále více parametrů, a proto vyžadují hodně energie.

Aby ukázal, jak může lidská inteligence snížit energetické nároky umělé inteligence, odkazuje Radgen na prognózy výroby elektřiny z fotovoltaických systémů při trénování AI. „Nejjednodušší způsob je tvrdošíjně trénovat umělou inteligenci po celých 24 hodin,“ říká výzkumník. Jako člověk však víte, že systém v noci nic nevyrobí, a můžete tuto informaci využít k dočasnému snížení objemu zpracovávaných dat. „V konečném důsledku to nemá žádný vliv na kvalitu výsledků,“ říká Radgen. „Pravděpodobně budou dokonce lepší.“ 

V současné době se však zdá, že zejména velikost jazykových modelů se z generace na generaci zvětšuje. Zatímco GPT-3, na němž je založen i ChatGPT, měl „pouze“ 175 miliard parametrů, u jeho nástupce GPT-4 se prý toto číslo zvýšilo desetkrát. „V žádném případě však není nikde psáno, že modely musí být stále větší a větší,“ říká Stefan Naumann, profesor informatiky udržitelného rozvoje v environmentálním kampusu Birkenfeld na Univerzitě aplikovaných věd v Trevíru, který chce zpřehlednit spotřebu energie jazykových modelů. „Trend se také ubírá směrem k tomu, aby se co nejvíce věcí dělalo přímo na chytrých telefonech nebo jiných koncových zařízeních.“ 

AI ve smartphonu

Google například nedávno představil Gemini Nano, zmenšenou verzi svého vlajkového jazykového modelu Gemini, kterou lze spustit i offline na mobilních telefonech. „Pokud modely běží decentralizovaně na koncových zařízeních uživatelů, snižuje se tím nejen spotřeba energie, ale také se lépe chrání soukromí,“ říká Naumann. 

Bylo by však nutné přijmout určité kompromisy z hlediska výkonu a chatbot by se možná musel spokojit s tím, že bude mít přístup pouze k určitému množství základních znalostí, a ne například k celé Wikipedii. V konečném důsledku by tak mohly vzniknout hybridní modely, které budou schopny zpracovávat jednoduché dotazy lokálně, ale pro obšírnější dotazy budou využívat rozsáhlou knihovnu. 

„Uvidíme, kolik toho smartphone skutečně dokáže,“ říká Naumann a srovnává to s editací obrázků, kde ještě před několika lety nebylo téměř možné aplikovat filtry a dělat úpravy přímo na smartphonu. „Dnes už se tyto úpravy provádějí lokálně na koncovém zařízení, protože výpočetní výkon se zvýšil a nyní to umožňuje.“ 

Rozumějí našemu jazyku, mluví s námi a třeba i píšou básně. Úspěchy velkých jazykových modelů, jako je GPT-4 nebo Gemini, jsou impozantní. Otevírají nové možnosti v tak rozmanitých oblastech života, jako jsou komunikace, učení a kreativita. 

Přes všechny zázraky má však tato nová technologie i jednu málo zmiňovanou stinnou stránku: jazykové schopnosti modelů jsou založeny na umělých neuronových sítích s miliardami parametrů a jejich trénink a provoz spotřebovává obrovské množství elektrické energie. Počet uživatelů chatbotů přitom rychle roste, což způsobuje, že nezadržitelně roste i spotřeba energie.

Podle pesimistických odhadů může dotaz na chatbota stát až 30krát více energie než prosté vyhledávání na internetu pomocí klíčových slov. Extrapolováno na současných devět miliard dotazů na Google by to znamenalo potřebu elektřiny v řádu spotřeby malé země, jako je třeba Irsko. A dokonce i počáteční trénink velkého jazykového modelu si obvykle vyžádá náklady na elektřinu ve výši jednotek až desítek milionů korun). 

Spotřeba energie neznámá 

Abychom mohli tuto spotřebu účinně snížit, je třeba ji nejprve podrobně znát. „Podle našich zkušeností však tvůrci těchto modelů sami často nevědí, k čemu přesně energii využívají,“ říká Peter Radgen, profesor Institutu energetického hospodářství a racionálního využívání energie na Univerzitě v německém Stuttgartu. V projektu NADIKI (česky Ukazatele udržitelnosti pro digitální infrastrukturu a AI) si jeho tým stanovil za cíl zpřístupnit a zprůhlednit spotřebu energie a související emise CO₂ realizované aplikacemi umělé inteligence. 

Profesor Radgen vidí možné východisko v udržitelnějším využívání kapacit datových center umělé inteligence. „Efektivita je vždy nejvyšší, když počítače pracují na optimální kapacitu,“ vysvětluje výzkumník. Servery jsou však často nečinné a spotřebovávají energii, aniž by pracovaly produktivně. „Je to jako nechat v autě neustále běžet motor jen proto, abyste mohli kdykoli okamžitě odjet.“ Podrobná analýza open source jazykového modelu BLOOM odhalila, že třetina energie spotřebované na trénování byla vyplýtvána právě na nečinné počítače. 

„Proto je naším cílem v rámci projektu NADIKI umožnit měření spotřeby energie až na úrovni jednotlivých počítačů,“ říká Radgen. „Jedině tak mohou vývojáři aplikací umělé inteligence získat představu o spotřebě energie, kterou způsobují.“ To je důležité i proto, že řešení jedné a téže úlohy může spotřebovávat různé množství energie – podle toho, kolik dalších znalostí je programátor ochoten do své umělé inteligence nacpat. „Jak je k dispozici stále výkonnější hardware, vývojáři často volí jednodušší cestu a nechají hledat řešení AI, místo aby přemýšleli sami,“ říká Radgen. Modely berou v úvahu stále více parametrů, a proto vyžadují hodně energie.

Aby ukázal, jak může lidská inteligence snížit energetické nároky umělé inteligence, odkazuje Radgen na prognózy výroby elektřiny z fotovoltaických systémů při trénování AI. „Nejjednodušší způsob je tvrdošíjně trénovat umělou inteligenci po celých 24 hodin,“ říká výzkumník. Jako člověk však víte, že systém v noci nic nevyrobí, a můžete tuto informaci využít k dočasnému snížení objemu zpracovávaných dat. „V konečném důsledku to nemá žádný vliv na kvalitu výsledků,“ říká Radgen. „Pravděpodobně budou dokonce lepší.“ 

V současné době se však zdá, že zejména velikost jazykových modelů se z generace na generaci zvětšuje. Zatímco GPT-3, na němž je založen i ChatGPT, měl „pouze“ 175 miliard parametrů, u jeho nástupce GPT-4 se prý toto číslo zvýšilo desetkrát. „V žádném případě však není nikde psáno, že modely musí být stále větší a větší,“ říká Stefan Naumann, profesor informatiky udržitelného rozvoje v environmentálním kampusu Birkenfeld na Univerzitě aplikovaných věd v Trevíru, který chce zpřehlednit spotřebu energie jazykových modelů. „Trend se také ubírá směrem k tomu, aby se co nejvíce věcí dělalo přímo na chytrých telefonech nebo jiných koncových zařízeních.“ 

AI ve smartphonu

Google například nedávno představil Gemini Nano, zmenšenou verzi svého vlajkového jazykového modelu Gemini, kterou lze spustit i offline na mobilních telefonech. „Pokud modely běží decentralizovaně na koncových zařízeních uživatelů, snižuje se tím nejen spotřeba energie, ale také se lépe chrání soukromí,“ říká Naumann. 

Bylo by však nutné přijmout určité kompromisy z hlediska výkonu a chatbot by se možná musel spokojit s tím, že bude mít přístup pouze k určitému množství základních znalostí, a ne například k celé Wikipedii. V konečném důsledku by tak mohly vzniknout hybridní modely, které budou schopny zpracovávat jednoduché dotazy lokálně, ale pro obšírnější dotazy budou využívat rozsáhlou knihovnu. 

„Uvidíme, kolik toho smartphone skutečně dokáže,“ říká Naumann a srovnává to s editací obrázků, kde ještě před několika lety nebylo téměř možné aplikovat filtry a dělat úpravy přímo na smartphonu. „Dnes už se tyto úpravy provádějí lokálně na koncovém zařízení, protože výpočetní výkon se zvýšil a nyní to umožňuje.“