fAInova Michala Kubíčka: ​Bude za nás AI dělat vědu?

Před půl rokem jsem se rozhodl, že se na stará kolena vrátím do školy a začnu to, čemu se věnuji posledních deset let, oficiálně zkoumat. Vědecky. Rozeberu velké jazykové modely jako ChatGPT, Gemini nebo Perplexity na kousíčky. Zjistím, jak to udělat, aby si vaši zákazníci o vaší firmě v odpovědích AI chatbotů vůbec přečetli. Aby tam byla, a hlavně aby o ní AI nekecala.

O tom, že AI občas neříká úplnou pravdu, a proč to tak je, jsme si zde už povídali. Dneska to bude o trošku něčem jiném. O dárku. Ten mi (a nejen mi, ale všem vědcům na světě) nadělila firma Anthropic. Přesně jeden den potom, co mne přijali ke studiu, uvolnila nástroj Claude Science. Hned jsem ho vyzkoušel a já zalitoval, že jsem ho neměl k dispozici před půl rokem, když jsem začal připravovat podklady pro tezi.

Zkusil jsem ho hned na svém tématu. Agent mi sesbíral za několik minut přes 150 vědeckých prací, roztřídil je, postavil graf trendů. Věc, na kterou byste jinak potřebovali týdny, byla hotová za pár minut. Dřív, než mi vystydla káva.

Tolik první dojem.

Když jsem začal výstupy číst, vypadaly na první pohled skvěle. Agent mi s naprostou jistotou předložil tabulku. Vypadala vědecky. Čísla, procenta, sloupečky. Stálo v ní, že jedna z mých čtyř „děr ve výzkumu“ – tedy míst, kam se ještě nikdo pořádně nepodíval, a kde tím pádem můžu být první, je skoro prázdná. Konkurence: dvě práce.

A já tomu téměř uvěřil.

Jenže třicet let na internetu mne naučilo jedno. Není všechno zlato, co se třpytí. Zeptal jsem se agenta, odkud to číslo vzal. Poslušně ukázal zdroje. A v těch surových datech u té „prázdné“ díry neležely dvě práce, ale šest.

Součástí nástroje je totiž takzvaný reviewer agent. Druhý agent, jehož jedinou prací je kontrolovat toho prvního. Hlídá citace, přepočítává čísla, hledá, co nesedí. Ten si ty práce přečetl pořádně a vyhodil všechny, které se tématu jen lehce dotkly, ale ve skutečnosti ho neřeší. Takže to zpřesnění bylo správně. Problém byl jinde: už neřekl, že to udělal. Naservíroval hotový výsledek jako neochvějný fakt, ale krok, ve kterém z šesti prací udělal dvě, si nechal pro sebe. Kdybych ta čísla bez rozmýšlení opsal do své práce a přišel s nimi před vědeckou komisi, první šťoura, který si otevře tu samou tabulku, co já, uvidí šestku.

A to je ten dárek i háček v jednom. Nástroj mi za pár minut ušetřil týdny hledání. Ale zároveň mi připomněl, že AI je jako strašně šikovný a snaživý stážista, který vám donese perfektně vypadající elaborát – a je jenom na vás, jestli se ho zeptáte „a kdes na to přišel?", nebo mu naslepo věříte.

Zní to jako zázrak. Skoro.

Pak jsem si totiž ty práce začal číst sám a osobně. A chyby a nesrovnalosti začaly pomalu vyplouvat na povrch. Práce, co se v abstraktu tvářila na téma reprezentace značek, po přečtení řešila vlastně něco úplně jiného a jinde jen měla podobná slova v názvu. Někdy jiný rok výzkumu, takže se to tvářilo jako superaktuální, a ono to bylo přitom jen rok zveřejnění. Nic z toho nebyla katastrofa. Každá ta chybka zvlášť je jako špatně přečtená jednička místo sedmičky.

Jenže víte, jak to s jedničkami a sedmičkami je. Jedna špatně zadaná číslice v adrese, a dopis doručí sousedovi. Překlep v čísle účtu, a peníze odejdou cizímu člověku. Sama o sobě neškodná chybka. Ale když jich naskládáte pár na sebe a pak jim slepě věříte, výsledek jednoduše není správný.

Vzpomněl jsem si na matematický model párování vhodných genů třešní, který jsme před časem sestavovali pro jeden výzkumný ústav. Chyba v takovém modelu se ukáže za 7 let. Až ty zkřížené třešně porodí první plody.

Proto, když někdo řekne, že díky AI se už nebudete potřebovat učit, vzdělávat, abyste si dokázali sami bez AI prověřit AI, usmívám se pod fousy. Čím chytřejší nástroj vám dá odpověď, tím lépe se musíte umět ptát. Pokud nebudete vědět jak a na co, možná zjistíte, že jste sedm let zalévali strom, který urodí třešně, co nechcete ani do bublaniny.

Autor je AI mentor a programátor