Vývoj adaptivity, Autonomie and Zodpovědnost (Teorie)
Read in English >> System_Evolution Theory Resources: AI Alignment Alignment faking in large language models Projects/kindl.work/Project Universe/System/Člověk ve věku stroje - Josef Šafařík Paperclip maximalizer AI Deep Dive AI Terms System System_Teorie Okruhy
Vývoj adaptivity, Autonomie & Zodpovědnost
Vývoj konceptu adaptivního chování od prvních mechanických systémů po současné inteligentní technologie. Problematika samostatně se učících strojů, etické otázky spojené s rostoucí autonomií, včetně hranic kontroly, odpovědnosti a jejich role v techno-lidských ekosystémech.
První plachetnice
Sumerské, mezopotámské a později i egyptské plachetnice, od 3500 př. n. l.
Plachty by mohly být orientovány tak, aby zachycovaly vítr z různých směrů, a účinně tak využívat a přizpůsobovat se měnícím se větrným podmínkám pro navigaci.
Shaduf
Egypt a Mezopotámie, od 2000 př. n. l.
Jednoduchý pákový zavlažovací systém používaný k odčerpávání vody z řeky na pole. Skládá se z dlouhé tyče s kbelíkem na jednom konci a protiváhou na druhém. Adaptivní schopnost spočívá v jeho schopnosti efektivně regulovat množství odčerpané vody podle aktuálních potřeb zavlažování.
Nilometr
Egypt a Mezopotámie, od 1800 př. n. l.
Stavba (často studna nebo stupňovitá komora) sloužící k měření povodňové hladiny Nilu. Zemědělci a úředníci používali tato měření k přizpůsobení plánů výsadby a zdanění podle ročních výkyvů povodní.
Clepsydra
Egypt, Řecko, Čína, aj., od 1500 př. n. l.
Nádoba, do které se kape voda konstantní rychlostí pro měření času. Úpravy (velikost otvoru, zohlednění teploty vody atd.) byly prováděny za účelem udržení relativně stálého odtoku, což byla raná forma „kalibrace“ podle dynamiky prostředí nebo tekutin.
Mechanické automata
1. století př. n. l.
Herón z Alexandrie vyvinul různé automaty a samoregulační systémy (např. samonaplňující se mísy na víno, fontány, automatické dveře).
Často používal plováky, sifony a ventily, které automaticky reagovaly na měnící se hladinu kapaliny, čímž ilustroval principy rovnováhy a zpětnovazebního řízení.
Římské Akvadukty
1.–2. století n. l.
Římské akvadukty byly sofistikované systémy přivodu vody do měst, které využívaly gravitaci a precizní inženýrství k udržení konstantního přívodu vody.
Adaptivní schopnost spočívala v tom, že systémy mohly automaticky regulovat přívod vody podle potřeb populace a dostupnosti zdrojů pomocí ventilu a distribučních kanálů, které se přizpůsobovaly aktuálním podmínkám.
Perské větrné mlýny
7. století n. l.
Větrné mlýny se svislou osou používané k mletí obilí nebo čerpání vody. Mohly být upravovány (např. orientací stěn nebo regulací větracích otvorů) podle převládajících větrů, čímž se funkce konstrukce přizpůsobovala místnímu směru a rychlosti větru.
Mechanické hodiny
14. století n. l., Evropa
Sklíčidlo s hranou a listem (a pozdější zdokonalení) zavedlo regulaci podobnou negativní zpětné vazbě, aby se udržel rovnoměrný pohyb kyvadla nebo ozubeného kola.
Tento mechanismus umožnil hodinám přizpůsobit rychlost tikání a zabránit příliš rychlému nebo pomalému chodu, což znamenalo velký skok v přesnosti měření času.
Flyball Governor
1788.
Mechanický zpětnovazební systém vyvinutý Jamesem Wattem pro regulaci rychlosti parních strojů. Skládá se z rotujícího kotouče se závažími, které se rozšiřují nebo přibližují v závislosti na rychlosti motoru.
Tímto způsobem systém automaticky upravuje přívod paliva, aby udržel konstantní rychlost stroje, což je základní princip adaptivní regulace v kybernetice.
Vývoj Adaptivity v 20.–21. století
Formální studium smyček zpětné vazby a adaptace vedlo k průlomu v automatizaci, robotice a umělé inteligenci, kde se systémy učí a samoregulují stále složitějšími způsoby.
- 30.-40. léta 20. století Vznik teorie řízení
- 50. léta 20. století Kybernetika
- 50.-60. léta 20. století Neuronové sítě
- 70.-80. léta 20. století Expertní systémy a zpětné šíření
- 21. století Strojové učení, robotika
30.-40. léta 20. století — Vznik teorie řízení
Inženýři a matematici formalizovali smyčky zpětné vazby (proporcionálně-integračně-derivační neboli PID regulátory) pro regulaci výstupu systému ve všech oblastech od průmyslových strojů po řízení letadel. Systémy se přizpůsobují průběžným měřením výstupu a jeho porovnáváním s cílovou hodnotou.
1948 — Kybernetika Norberta Wienera
Wienerova práce položila koncepční základy pro analýzu řízení a komunikace u zvířat a strojů. Kybernetika formalizovala způsob, jakým lze zpětnou vazbu a adaptaci aplikovat v biologii, technice a sociálních systémech.
50.-60. léta 20. století — raný výzkum neuronových sítí
Průkopníci jako McCulloch, Pitts a Rosenblatt (Perceptron) zkoumali výpočetní modely neuronů.Sítě se učily z dvojic vstup-výstup a upravovaly vnitřní parametry (váhy), aby přizpůsobily chování v čase.
70.-80. léta 20. století — Expertní systémy a zpětné šíření (Backpropagation)
Algoritmus zpětného šíření (zpopularizovaný v polovině 80. let) umožnil složitějším vícevrstvým neuronovým sítím přizpůsobovat svou vnitřní reprezentaci v reakci na chyby, což podpořilo pokrok v rozpoznávání vzorů.
21. století — moderní umělá inteligence, strojové učení a robotika
Pokročilé systémy (např. posilovací učení, hluboké učení, samořídící vozidla) se neustále přizpůsobují reálným datům a upravují své modely a činnosti tak, aby maximalizovaly výkon, spolehlivost nebo bezpečnost v dynamickém prostředí.
Samostatně učící se stroje
Adaptivní učení a rozhodování — přizpůsobují své chování na základě nových dat a/nebo zkušeností.
Často využívající strojové učení (ML) nebo hluboké učení (DL). V průběhu času mohou měnit pravidla rozhodování, což někdy vede k nepředvídatelným výsledkům, které člověk explicitně nenaprogramoval.
podobně nepředvídatelné, jako člověk
"Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are." — Nick Bostrom
Autonomie
Schopnost jednat samostatně, bez trvalého lidského dohledu. Je to spektrum: od dílčích rozhodnutí až po plnou samostatnost. — Od nástroje k agentovi.
Alignment faking in large language models
Klíčové problémy
I. Odpovědnost
Vysoce autonomní umělá inteligence může vést k „mezerám v odpovědnosti“ - pokud stroje jednají samostatně, kdo nese odpovědnost, pokud se něco pokazí?
II. Algoritmická zaujatost, Bias
Samoučící se stroje se mohou nevědomky(xd?) naučit společenským předsudkům obsaženým v trénovacích datech (např. rasové nebo genderové diskriminaci v algoritmech pro přijímání zaměstnanců).
III. Soukromí a Dohled
Rozhodování založené na umělé inteligenci se často opírá o osobní nebo citlivé údaje. Samoučící se systémy mohou shromažďovat obrovské množství informací, což umožňuje podrobné profilování.
IV. Transparentnost a vysvětlitelnost, XAI
Mnohé modely učení jsou „černé skříňky“ — jejich vnitřní uvažování může být neprůhledné i pro odborníky.
+Autorské právo
Proč vůbec řešit „odpovědnost?“
Odpovědnost je lidský koncept, který vychází z naší potřeby hledat příčinu jevů a událostí – a zároveň nacházet „viníka“ v situaci, kdy dojde k něčemu negativnímu nebo škodlivému. Přitom existuje mnoho situací, kde podobné hledání viníka nedává smysl. V minulosti za živelné katastrofy vinili bohy či démony, později pak různé společenské skupiny (tzv. obětní beránek).
?? při používání AI, můžeme v brát v úvahu vždy nějaké objektivní riziko, anebo jí napsat tak, aby ji trest skutečně zasáhl ??
V mnoha případech nehledáme viníka, nýbrž způsob, jak škodu nahradit. Pro AI by tak mohl vzniknout model, kde se neptáme „kdo za to může“, ale zajistíme, aby existovaly fondy a pojištění pro odškodnění
Současné strategie a přístupy
Vývojář a provozovatel — zástupná odpovědnost
Vývojář, výrobce nebo provozovatel systému umělé inteligence by mohl nést odpovědnost za jakoukoli způsobenou škodu bez ohledu na úroveň autonomie.
Metoda pojištění
Společnosti a uživatelé autonomních systémů jsou povinni mít zvláštní pojištění. V případě škody poskytuje náhradu pojistitel, který se pak může domáhat regresu.
Regulace, AI ACT
Má za cíl kategorizovat systémy umělé inteligence podle rizika (např. „vysoce rizikové“ systémy vyžadují přísnější dohled a dodržování předpisů).
Technické a Organizační řešení typu "Human in the loop"
Zachování určité úrovně lidského dohledu nad kritickými rozhodovacími procesy aby se zajistilo, že konečnou odpovědnost ponese člověk.
Vysvětlitelná AI (XAI) a auditovatelnost
Techniky pro zprůhlednění rozhodnutí AI (např. metriky důležitosti vlastností, lokální interpretovatelná vysvětlení modelů).
Robustní validační a verifikační procesy
Intenzivní testování před nasazením, simulace a ověřování, které zajistí, že systém AI splňuje bezpečnostní a etická kritéria.
Posouzení dopadů algoritmů (před spuštěním)
Algoritmy pro analýzu algoritmů se používají pro analýzu algoritmů: Podobně jako u posuzování dopadů na životní prostředí musí organizace před nasazením umělé inteligence posoudit její potenciální společenské a etické dopady.
Možná řešení
Sdílená odpovědnost, smart contracts, blockchain
Právní subjektivita AI, značně kontroverzní
Bezpečnostní sítě a kompenzační fondy
Etické a profesní normy
Prevence
Sladění hodnot — Alignment
Průběžné monitorovaní a správa systému
Transparentnost podávání zpráv
Mezinárodní sjednocení norem
Okruh 03 Notes