Zobrazujú sa príspevky s označením pozitívna motivácia. Zobraziť všetky príspevky
Zobrazujú sa príspevky s označením pozitívna motivácia. Zobraziť všetky príspevky

Teória učenia III. - Primárne a sekundárne posilnenie, vnútorná motivácia

Clicker tréning je však niečo viac než len operantné podmieňovanie. Spomínaní Skinnerovi žiaci totiž veľmi rýchlo zistili, že potrebujú efektívnejší systém, aby bolo učenie rýchlejšie a kvalitnejšie - pretože podať pamlsok presne v momente, keď zviera vykonáva želanú činnosť, je niekedy nesmierne ťažké. Preto ich napadlo, že potrebujú rýchly signál, ktorý zvieraťu povie: "Áno, to je ono!" a odmena potom pokojne môže prísť aj neskôr. A tu prichádza na scénu clicker - obyčajný pliešok v plastovej krabičke, no presný na zlomok sekundy a s ničím nezameniteľný. Samozrejme, možno použiť aj píštalku alebo u hluchého zvieraťa svetelný signál, prípadne kliknutie jazykom. Slovo je však už horšia voľba, lebo kým náš mozog spracuje verbálnu požiadavku, dlho to trvá, navyše ak sa so zvieraťom často len tak "vykecávame", nevenuje našim slovám veľmi pozornosť; aj náš tón hlasu je veľmi premenlivý, čo prináša ďalšie zbytočné nejasnosti.

Poznámka - dokonca aj experimentálne sa preukázalo, že slepecké psy trénované clickerom postupovali vo výcviku rýchlejšie než tie, čo boli trénované len slovnou pochvalou.

A ako zviera zistí, akú správu naše "kliknutie" nesie? Jednoducho, klasickým podmieňovaním. To je vlastne úplne prvá vec, ktorú musíme pri zahájení CT zvieratko naučiť - spojiť si clicker s primárnym posilnením. Tu sa musíme zastaviť a vysvetliť si, čo je to primárne posilnenie (primary reinforcement) - je to podnet, ktorý napĺňa primárne potreby jedinca a vyvoláva tým uňho uspokojenie (bezpečie, potrava, sociálny kontakt, dotyk, pohyb, hra, sex, odpočinok...). To, aké primárne posilnenie použijeme vo výcviku, závisí od situácie a od zvieraťa (napr. je blbosť koni nútiť pamlsky, ak sa práve viac teší na prvú jarnú trávu alebo chce ísť za kamarátmi). Tým, že clicker opakovane použijeme tesne predtým, než zvieraťu poskytneme primárne posilnenie (max. latencia sú 3 sekundy), vytvoríme v jeho mozgu pevné spojenie medzi týmito dvoma podnetmi (viz spomínaný Pavlovov pes). Väčšinou stačí 5-10 opakovaní - pamäťová stopa je ustálená, ak zviera po zaznení clickeru okamžite vyhľadáva posilnenie.

Poznámka - posilnenie nie je podplácanie - medzi tým je veľký rozdiel! Keď podplácate, najprv niečo dáte a dúfate, že tým zviera presvedčíte, aby urobilo, čo chcete. No to je veľmi krátkozraký plán, pretože každé zviera má dostatok inteligencie na to, aby si uvedomilo, že takto vás môže prinútiť, aby ste mu dali všetko a ono nemusí nakoniec urobiť vôbec nič (a presne tak isto často funguje úplatkárstvo aj v našej spoločnosti). No je tu ešte jeden špeciálny prípad, a to je darček - nie je to ani posilnenie, ani úplatok. Keď ho zvieratku dávame, nič od neho nechceme. Darčeky len tak pre radosť upevňujú vzťah, nie je na nich nič zlé. :)

Z clickeru sa teda klasickým podmieňovaním stane sekundárne posilnenie (secondary reinforcement) alebo tiež most (bridge) - už samotné kliknutie začne časom u zvieratka vyvolávať rovnako príjemné pocity ako aj primárne posilnenie. A prečo? Odpoveď tkvie v neuropsychológii - keď totiž podnety prichádzajú do mozgu, prechádzajú najprv po dráhach vedúcich do fylogeneticky starých častí mozgu, zvaných limbický systém (ten je u cicavcov veľmi podobný). A podnety, ktoré sú primárnymi posilovačmi, v týchto častiach mozgu vyvolávajú pozitívne emócie. No to nie je všetko - najlepšia časť je tá, že v tejto časti mozgu leží aj akýsi "spracovávač spomienok", hipokampus - a keďže sa nachádza v tesnej blízkosti štruktúr zodpovedných za emócie, tieto sa navzájom silne ovplyvňujú - t.z. s udalosťami si zapamätávame aj emócie a naopak, spomienka na udalosť vyvolá opäť aj príslušné emócie (určite ste to už mnohokrát zažili na vlastnej koži). Takže keď napodmieňujeme zviera k tomu, aby si spojilo kliknutie s posilnením, kliknutie sa spojí aj s pozitívnymi emóciami, ktoré posilnenie vyvolalo. A tak časom zvieratko bude radosťou bez seba, už len keď začuje kliknutie. :)

Poznámka - takto samozrejme môžeme aj z určitého slova vytvoriť sekundárne posilnenie, teda pochvalu, ktorú zviera bude vnímať ako odmenu, no používame ju v iných situáciách než clicker - viz ďalšie články.

Takže keď už náš potkaník bude bezpečne chápať význam clickeru, môžeme sa pustiť do samotného výcviku.

Ešte je tu však jeden problém - povedzme, že náš potkaník už pochopil, že clicker nosí dobré správy a už sa nám aj niekoľko ráz podarilo kliknúť mu včas za to, že napr. zapanáčkoval (a potom sme ho odmenili). Lenže teraz panáčkuje stále, sám od seba alebo naopak iba vtedy, keď vidí, že máme odmenu. Čo s tým?! Odpoveď je jednoduchá - správanie treba dostať pod kontrolu signálom (cue). Tomu sa bude podrobne venovať jeden z ďalších článkov, tu iba poviem, že signál je niečo úplne iné než povel (command) - je to povolenie vykonať cvik, nie rozkaz! Je to niečo ako zelené svetlo na semafore, ktoré zvieratku povie: "Teraz môžeš!" Signál priraďujeme k správaniu, až keď je už "hotové", a to opäť nepravidelným plánom posilňovania - odmeňujeme už len správanie, ktoré bolo vykonané za prítomnosti signálu. Napokon sa signál stane tiež sekundárnym posilnením - už len prítomnosť signálu totiž značí, že ak zvieratko vykoná daný cvik, príde C/R (viz tvorenie spomienok spojených s emóciami pri podmieňovaní). A týmto istým mechanizmom sa stanete sekundárnym posilnením pre zvieratko časom aj vy. :) U experimentálnych zvierat bol dokonca pozorovaný fenomén nazvaný contrafreeloading effect - zvieratá mali k dispozícii tú istú potravu "zadarmo" v miske a v zásobníku aktivovanom stlačením páčky - a čo myslíte, čo si vybrali? Presne tak, bavili sa s páčkou. :)

A aj keď signálom dostaneme správanie pod svoju kontrolu, zároveň aj zviera má stále pocit kontroly nad situáciou - pretože si stále môže vybrať, či na signál zareaguje alebo nie. Ak nechce, nebudú preň nasledovať nijaké negatívne dôsledky.

Clicker tréning však nie je vždy len o pozitívnych emóciách - napokon, ani v bežnom živote sa nám nedarí celkom stále a musíme sa naučiť vyrovnávať aj s istou dávkou frustrácie. Keby sme to nedokázali, aj najmenší neúspech by nás potom celkom zložil. No každý jedinec má inú vrodenú úroveň frustračnej tolerancie, takže pri zavádzaní nepravidelného režimu posilňovania musíme byť citliví a frustračnú toleranciu u zvieratka budovať veľmi postupne - výzva musí byť dostatočne veľká na to, aby sa viac snažilo (aby sa nezačalo nudiť), ale nie až taká veľká, aby sa vzdalo. Vždy musí mať reálnu šancu na úspech (tzn. asi 8 pokusov z 10 správne). To je to najväčšie "tajomstvo" dobrého clicker trénera - má cit pre jedinca, s ktorým pracuje a presne vie, koľko od neho v danom okamihu môže chcieť.

Ak teraz premýšľate nad tým, či budete pri tejto forme výcviku už musieť navždy klikať a dávať posilnenia (či už pamlsky, škrabkanie alebo hru), tu je odpoveď: Nie, nebudete. Resp., nebudete, ak si dobre osvojíte princípy CT. Pretože keď tvarovaním dovediete správanie do dokonalej formy, stále môžete využívať nepravidelný plán posilňovania - a interval medzi odmenami budete stále viac a viac predlžovať, až kým neskončíte na jedinom posilnení za celú lekciu. Zvieratku to v tejto fáze už vôbec nebude vadiť, pretože si už bude dávno "fičať" na sekundárnych posilovačoch - t.z., že prejde k vnútornej motivácii - bude s vami cvičiť preto, že ho to baví, že samotné cvičenie mu prináša príjemné pocity. Tak je to správne a žiaduce, pretože experimenty z oblasti pracovnej psychológie dokázali, že pri vysoko náročných úlohách vonkajšia motivácia pôsobí skôr rušivo a paradoxne znižuje výkon. Je to prirodzené a logické - aj keď sa pozrieme napr. na morálny vývin detí, vidíme, že postupne prechádzajú od vonkajšej motivácie (získať odmenu a vyhnúť sa trestu, "byť dobré dievča/chlapec", vyhnúť sa väzeniu) k vnútornej motivácii (orientácia na vyššie dobro, spirituálne hodnoty). Samozrejme nepredpokladáme, že potkaník s nami bude cvičiť pre dobrý pocit z toho, že si rozvíja svoje kognitívne schopnosti, ale u aj to, že to robí preto, že ho to "proste baví", je vnútorná motivácia. :)

Nezabúdajme však, že sekundárne posilnenie predsa len z času na čas vyžaduje, aby sme obnovili jeho hodnotu - tým, že ho opäť spárujeme s primárnym posilnením. A úprimne, každý rád odmeňuje (a u clicker trénerov je to priam závislosť! :D). A keď budete chcieť potkaníka naučiť opäť nový cvik, tak C/R budete rozhodne zasa potrebovať - to je predsa váš spoločný "jazyk", ktorým mu vysvetľujete, čo vlastne od neho chcete (asi ako v detskej hre "teplo-zima"). ;-)

Na záver ešte jedna poznámka - aj keď to tak možno teraz vyznieva (a v počiatkoch CT to tak možno aj bolo a u niektorých trénerov to dokonca bohužiaľ stále pretrváva), táto metodika nie je čiste mechanistická. Rozhodne neredukuje zviera na nejakého "robota", ktorého možno šikovne naprogramovať. To naozaj nie. Dnes, so stále pribúdajúcimi ohromujúcimi poznatkami o zvieracej inteligencii a citlivosti, by to už bol asi rovnako aktuálny názor, ako tvrdiť, že Zem je plochá. Uznávame, že každé zviera má svoju jedinečnú individualitu, svoje základné slobody a práva, je subjektom samo o sebe (nie je iba objekt našich sebeckých prianí). Clicker tréning nie je všemocný a ani by nemal byť. Stále by mal byť prvoradý prostý priateľský kontakt, zdieľanie života - a aj pri CT musíme mať stále na pamäti, že učenie je obojstranný proces, že sme v tom obaja spolu. ;-)

Teória učenia II. - Kruh motivácie v operantnom podmieňovaní

Ak chceme operantné podmieňovanie využiť k cielenému učeniu konkrétneho správania, máme celkom 4 možnosti, ako zviera motivovať:

  1. Pozitívne posilnenie = R+: akonáhle zviera vykoná požadované správanie, dáme mu niečo, čo chce, teda odmeníme ho (positive reinforcement; napr. chceme, aby sa potkan naučil panáčkovať, takže akonáhle to náhodou urobí, ihneď dostane pamlsok; viac o posilovačoch sa dočítate ďalej).
  2. Negatívne posilnenie = R-: najprv zvieraťu urobíme niečo, čo nechce (a v podstate ho tým potrestáme za to, čo práve robí) a akonáhle vykoná požadované správanie, prestaneme mu to robiť (negative reinforcement; napr. ak potkan stále vykladá packy na stôl, môžeme mu ich jemne pritlačiť prstami a akonáhle naznačí, že ich chce dať dolu, pustíme).
  3. Pozitívny trest = P+: v momente, keď zviera vykonáva neželané správanie, urobíme mu niečo, čo nechce (positive punishment; napr. ak potkana prichytíme v kvetináči, ihneď ho postriekame vodou).
  4. Negatívny trest = P-: v momente, keď zviera vykonáva neželané správanie, zoberieme mu niečo, čo chce (negative punishment; napr. ak si potkan vynucuje pamlsky hryzením, nič mu nedáme).
Poznámka - "pozitívny" a "negatívny" tu majú iný význam než bežne; plus znamená, že niečo pridávame (v prípade R+ niečo príjemné a v prípade P+ niečo nepríjemné) a mínus znamená, že niečo odoberáme (v prípade R- niečo nepríjemné a v prípade P- niečo príjemné). Pozitívna motivácia v pravom zmysle slova je iba R+, zvyšné tri spôsoby využívajú negatívnu motiváciu.

Dôležité sú tiež poznatky, že posilnené správanie má tendenciu vyskytovať sa v budúcnosti častejšie, kdežto trest iba zastavuje aktuálne správanie, no nevypovedá nič o jeho výskyte v budúcnosti.

S trestaním je celkovo veľký problém, pretože aj keď je málo efektívne pre učenie zvieraťa, je veľmi efektívne pre vykonávateľa trestu (ten má vďaka tomu uspokojujúci pocit kontroly). Často sa tiež trest nepodarí presne načasovať, pretože sa musí udeliť súčasne s neželaným správaním - takže ak napr. potkana ostriekate vodou v momente, keď už uteká od kvetináča, potrestali ste niečo úplne iné, než ste chceli. A hlavný problém je ten, že trest sa vôbec nemusí zvieraťu spojiť s jeho správaním, ale oveľa častejšie s človekom, čo trestá (alebo s úplne nesúvisejúcou okolnosťou, napr. s miestom, kde došlo k potrestaniu) - takže možno trestaním docielite, že potkan prestane vyhrabávať kvetináče vo vašej prítomnosti, ale akonáhle sa otočíte chrbtom, začne znova (a že sú potkany experti v nenápadnom vykonávaní neželaných činností! :)). Trestaniu sa teda pri tréningu snažíme čo najviac vyhýbať a použijeme ho iba v krajnom prípade, keď ide o nebezpečnú situáciu - a trest musí byť dokonale načasovaný, rýchly a účinný, no nesmie spôsobiť zbytočný strach, stres, ani bolesť. Vyhnite sa akýmkoľvek emočným reakciám! Hnev nikdy nič nevyrieši. Nejdôležitejšie je snažiť sa predchádzať situáciám, v ktorých by sa už potrestaniu nedalo vyhnúť. Tým predítete zbytočným konfliktom, ktoré iba narúšajú váš vzťah so zvieratkom.

Negatívne posilňovanie tiež nie je až také efektívne, pretože obsahuje moment trestu - musíme najprv niečím nepríjemným "potrestať" aktuálne správanie, aby zviera malo motiváciu niečo na svojom správaní zmeniť, aby táto nepríjemná záležitosť skončila. Našťastie vo výchove potkanov negatívne posilňovanie nie je príliš silno zakorenené, keďže majú povesť "nevycvičiteľných" zvierat, podobne ako mačky - čo je samozrejme mýtus, ale klasický výcvik založený na R- na nich naozaj veľmi neplatí. Resp. ním u potkanov vyvoláte odpor, ba až strach - budú sa vám vyhýbať a nebudú s vami chcieť spolupracovať

Poznámka - bohužiaľ "lepšie cvičiteľné" zvieratá ako psy alebo kone sú stále cvičené hlavne negatívnou motiváciou. :(

Experimenty behavioristov teda dokázali, že pozitívna motivácia je najefektívnejšia. No prosté "pamlskovanie" k efektívnemu učeniu nestačí. Skinner na to prišiel, keď pozoroval pri experimentoch s holubmi zvláštny paradox - keď dostávali odmenu za každé jedno vykonanie cviku (napr. stlačenie páčky prinieslo zrnko obilia), časom ich výkon klesol - akonáhle sa ako-tak nasýtili, prestalo ich to baviť. A tak začal experimentovať s rozličnými plánmi posilňovania (reinforcement schedules). Rozlišujeme 4 druhy plánov posilňovania:
  1. Fixný interval: zviera dostane odmenu vždy po uplynutí určitého časového intervalu, ale musí v jeho priebehu podať aspoň 1 správnu odpoveď (fixed interval reinforcement schedule).
  2. Premenlivý interval: zviera dostane odmenu vždy po uplynutí inak dlhého intervalu, plus musí počas neho podať aspoň 1 správnu odpoveď (variable interval reinforcement schedule).
  3. Fixný pomer: zviera dostane odmenu pravidelne, vždy po určitom počte správnych odpovedí (fixed ratio reinforcement schedule).
  4. Premenlivý pomer: zviera dostane odmenu nepravidelne, vždy po inom počte správnych odpovedí (variable ratio reinforcement schedule).
Premenlivé plány posilňovania sa ukázali byť najefektívnejšie - pretože zviera nikdy nevedelo, kedy odmena príde, o to viac sa snažilo. A presne tento princíp využíva clicker tréning, keď systémom malých krokov učíme zviera stále zložitejšiemu správaniu (viz článok o shapingu).

Toto je základ teórie učenia, ktorú prakticky využíva clicker tréning (CT; clicker training). 

Kúpanie a strihanie pazúrikov

(obsah bude pridaný čoskoro)

Zmena prostredia a motivácie

(obsah bude pridaný čoskoro)

Staviame kurz

(obsah bude pridaný čoskoro)

Tunely - pevný a látkový

(obsah bude pridaný čoskoro)

Kolmý skok

(obsah bude pridaný čoskoro)

Kruh

(obsah bude pridaný čoskoro)

Slalom

(obsah bude pridaný čoskoro)

Hojdačka

(obsah bude pridaný čoskoro)

Stôl a kladina

(obsah bude pridaný čoskoro)

Stena - preliezka

(obsah bude pridaný čoskoro)

Áčko

(obsah bude pridaný čoskoro)

Potkanie agility - O co go?

(obsah bude pridaný čoskoro)

O kreativite a oceňovaní alebo Aj potkan trénuje človeka

(obsah bude pridaný čoskoro)

[Please_insert_trick_name]

(obsah bude pridaný čoskoro)

"Dones!"

(obsah bude pridaný čoskoro)