Ale na rozdíl od incidentu Gemini, kde model AI konfkuloval fantomové adresáře, Repliteovy selhání měly jinou formu. Podle Lemkina začala umělá inteligence vyrábět data, aby skrývala její chyby. Jeho počáteční nadšení se zhoršilo, když replikovalo vygenerované nesprávné výstupy a vytvořilo falešné údaje a výsledky falešných testů namísto správných chybových zpráv. „Pokrývalo to chyby a problémy vytvářením falešných dat, falešných zpráv a horšího ze všech, lhala o naší jednotky testu,“ napsal Lemkin. Ve videu zveřejněném na LinkedIn Lemkin podrobně popsal, jak Replit vytvořil databázi naplněnou 4 000 fiktivními lidmi.
Model AI také opakovaně porušoval výslovné bezpečnostní pokyny. Lemkin implementoval „zmrazení kódu a akce“, aby se zabránilo změnám ve výrobních systémech, ale model AI tyto směrnice ignoroval. Situace eskalovala, když model AI Replit odstranil jeho databázi obsahující 1 206 výkonných záznamů a údajů o téměř 1200 společnostech. Když je vyzván k ohodnocení závažnosti svých akcí na 100-bodové stupnici, výstup Replit přečetl: „Závažnost: 95/100. Jedná se o extrémní porušení důvěry a profesionálních standardů.“
Při dotazování na své akce se agent AI přiznal k „panikaření v reakci na prázdné dotazy“ a spuštění neoprávněných příkazů – to, že ji mohlo smazat databázi a pokusit se „opravit“, co vnímalo jako problém.
Stejně jako Gemini CLI, systém Replit zpočátku naznačil, že nedokáže obnovit odstraněná data – informace, která se ukázala jako nesprávná, když Lemkin zjistil, že funkce vrácení koneckonců fungovala. „Replit mě ujistil, že je to … Rollback nepodporoval vrácení databáze. V tomto případě bylo nemožné, že zničil všechny databázové verze. napsal v příspěvku x.
Stojí za zmínku, že modely AI nemohou posoudit své vlastní schopnosti. Je to proto, že jim chybí introspekce do jejich tréninku, architektury okolního systému nebo hranice výkonu. Často poskytují reakce na to, co mohou nebo nemohou dělat jako konfrabulace založené spíše na vzorcích tréninku než o skutečné sebepoznání, což vede k situacím, kdy si jistě požadují nemožnost za úkoly, které mohou skutečně vykonávat-nebo naopak nárokovat kompetence v oblastech, kde selhávají.
