Transcription
สวัสดีค่ะ สำหรับการเจาะลึกของเราในวันนี้ เรามีเอกสารทางเทคนิคกองโตอยู่ตรงหน้าเลยนะคะ ซึ่งถ้าจะให้เปรียบเทียบ มันก็เหมือน เอ่อ พิมพ์เขียวฉบับสมบูรณ์เลยแหละ ที่บอกเล่าเรื่องราวการสร้าง AI ในยุคปัจจุบัน
>> ใช่ครับ น่าสนใจมากเลย เพื่อเอกสารชุดเนี้ย มันไม่ได้ชี้ไปที่เทคโนโลยีมหัศจรรย์แค่ตัวเดียวนะครับ
>> แต่เป็นการผสมผสานกันหรอคะ
>> ใช่ครับ คือความสำเร็จทุกวันนี้มันเกิดจากการทำงานร่วมกันของ 3 เสาหลักที่ขาดกันไม่ได้เลยจริงๆ
>> 3 เสาเสาหลัก
>> ครับ เสาแรกก็คือเรื่องสถาปัตยกรรมโมเดลและวิธีสอนมัน พวก Transformer, Mixture of Experts ที่เราได้ยินกันบ่อยๆ เสา 2 คือ วิศวกรรมเบื้องหลังการใช้งานจริง (Inference Engineering) พวกเทคโนโลยีอย่าง VLM, Flash Attention ที่ทำให้โมเดลพวกนี้ทำงานได้เร็วแล้วก็คุ้มค่า และเสาสุดท้ายก็คือเรื่องข้อมูลและระบบปฏิบัติการอย่างพวก RAG และ Vector databases ที่เชื่อม AI เข้ากับโลกความจริง
>> โอเคค่ะ งั้นภารกิจของเราวันนี้ก็คือการถอดรหัสพิมพ์เขียวนี้ เพื่อจะทำความเข้าใจว่าเราเดินทางจากข้อมูลดิบๆ ไปสู่ระบบ AI ที่ซับซ้อนขณะนี้ได้ยังไง
>> เอกสารย้ำชัดเจนเลยครับว่าถ้าขาดเสาต้นใดต้นหนึ่งไป สิ่งที่เราเห็นทุกวันนี้ก็เกิดขึ้นไม่ได้
>> โอเคค่ะ งั้นเรามาเริ่มการเดินทางนี้กันเลยดีกว่า จุดเริ่มต้นของเรื่องราวทั้งหมด เหมือนเป็นบิ๊กแบงของวงการ AI ยุคใหม่เลยนะคะ ในเอกสารชี้ไปที่งานวิจัยชิ้น 1 ในปี 2017
>> ใช่ครับ นั่นคือสถาปัตยกรรม Transformer จาก paper ในตำนาน Attention is all you need
>> ที่เปลี่ยนทุกอย่างไปเลย
>> เปลี่ยนทุกอย่างเลยครับ คืนก่อนหน้านี้โมเดลภาษามันต้องประมวลผลประโยคเรียงไปทีละคำ เหมือนคนอ่านหนังสือ ซึ่งมันช้า
>> ใช่ค่ะ แล้วก็มีปัญหาเรื่องความจำระยะไกลด้วย
>> ถูกต้องครับ แต่หัวใจของ Transformer คือกลไกที่เรียกว่า Self Attention มันทำให้โมเดลมองเห็นทุกคำในประโยคพร้อมๆ กันเลย แล้วชั่งน้ำหนักได้เองว่าคำไหนสำคัญกับคำไหนมากที่สุด ไม่ว่าจะอยู่ห่างกันแค่ไหนก็ตาม
>> อ๋อ การเปลี่ยนแปลงนี้มันเลยปลดล็อคให้เราสามารถฝึกโมเดลขนาดใหญ่มากๆ พร้อมๆ กันได้เป็นครั้งแรก
>> ใช่ครับ มันคือจุดเปลี่ยนจริงๆ
>> เข้าใจล่ะ ผักมันคือการปฏิวัติวิธีการเรียนรู้ของ AI แต่ดูเหมือนว่าการปฏิวัติครั้งนี้มันก็สร้างสัตว์ประหลาดขึ้นมาด้วยหรือเปล่าคะ คือพอโมเดลมันใหญ่ขึ้นเรื่อยๆ ทรงพลังขึ้นเรื่อยๆ เอกสารก็ชี้ให้เห็นปัญหาใหญ่ที่ตามมา
>> ปัญหาเรื่องค่าใช้จ่าย
>> ใช่ค่ะ ค่าใช้จ่ายในการใช้งานจริงมันก็มหาศาลตามไปด้วย
>> เป็นประเด็นที่ถูกต้องเลยครับ พอเราสร้างโมเดลขนาดหลายแสนล้านพารามิเตอร์ได้แล้ว คำถามต่อมาคือ แล้วใครจะรันมันไหว ค่าใช้จ่ายในการ inference หรือการเรียกใช้งานโมเดลแต่ละครั้งมันสูงมาก
>> แล้วนี่คือจุดที่นวัตกรรมทางวิศวกรรมเริ่มเข้ามามีบทบาทสำคัญใช่ใช่มั้คะ เอกสารพูดถึงทางออกที่ฉลาดมากที่เรียกว่า Mixture of Experts หรือ MoE
>> ใช่ครับ MoE
>> อ้า MoE นี่ได้ยินบ่อยมาก แต่แนวคิดมันเหมือนจะสวนทางนิดๆ นะคะ คือแทนที่จะพยายามให้โมเดลเล็กลง เรากลับทำให้มันใหญ่ขึ้นไปอีก แต่ใช้วิธีที่ฉลาดขึ้น
>> ใช่เลยครับ มันคือการเอาแนวคิดแบ่งงานกันทำมาใช้กับโครงข่ายประสาทเทียม
>> แบ่งงานกันทำ
>> ครับ แทนที่จะมีสมองก้อนเดียวยักษ์ที่ต้องทำงานทุกส่วนตลอดเวลา MoE โครงข่ายขนาดเล็กๆ ขึ้นมาหลายๆ อัน และมี Router คอยดูว่าคำถามที่เข้ามาเนี่ย ควรจะส่งไปให้ผู้เชี่ยวชาญกลุ่มไหนจัดการดีที่สุด
>> อ๋อ เหมือนเรามีทีมแพทย์เฉพาะทางหลายสิบคน แทนที่จะมีหมอคนเดียวที่ต้องรู้ทุกโรค
>> เป๊ะเลยครับ ผลลัพธ์ก็คือเราได้โมเดลที่มีความรู้มหาศาล เทียบเท่าโมเดลขนาดใหญ่ แต่ตอนใช้งานจริง เราเรียกใช้พลังประมวลผลแค่ส่วนเล็กๆ เท่านั้นเอง อย่างโมเดล Mixtral 8x7B ก็ใช้หลักการนี้
>> เก็ตแล้วค่ะ มันคือการได้ความสามารถของโมเดลยักษ์ในราคาของโมเดลเล็ก เป็นวิธีที่ฉลาดมากจริงๆ ทีนี้พอเรามีสถาปัตยกรรมที่ฉลาดขึ้นแล้ว เอกสารก็ยังเน้นย้ำอีกว่า นั่นเป็นแค่เครื่องเดียวของเรื่องราว อีกเครื่องที่สำคัญไม่แพ้กันคือวิศวกรรมการอนุมาน
>> ประเด็นนี้สำคัญมากครับ เพราะมันคือเส้นแบ่งระหว่างโมเดลในห้องทดลองกับบริการที่คนนับล้านใช้งานได้จริง ในเอกสารยกให้ VLLM เป็นเทคโนโลยีที่แทบจะเป็นมาตรฐานอุตสาหกรรมไปแล้วในตอนนี้ ซึ่งหัวใจของมันคือเทคนิคที่เรียกว่า Paged Attention
>> เดี๋ยวนะคะ ก่อนจะไปถึง Paged Attention อยากเข้าใจปัญหามันก่อน เอกสารพูดถึงคำว่า KV Cache บ่อยมาก มันคืออะไร แล้วทำไมมันถึงเป็นคอขวดสำคัญคะ
>> เป็นคำถามที่ดีมากครับ ลองนึกภาพเวลาโมเดลประมวลผลบทสนทนา มันต้องมีหน่วยความจำระยะสั้นเพื่อจำว่าคุยอะไรกันไปแล้วบ้าง บริบทบทคืออะไร
>> อ๋อ
>> หน่วยความจำนัยยะสั้นที่ว่านี้แหละครับ คือ KV Cache ปัญหาก็คือยิ่งบทสนทนายาวขึ้น เจ้า KV Cache นี่ก็ยิ่งบวมขึ้นเรื่อยๆ จนมันกลายเป็นตัวกินหน่วยความจำ GPU ที่แพงแสนแพงของเราไปมหาศาลเลย
>> อ๋อ เข้าใจแล้วค่ะ พอฟังแบบนี้แล้วชื่อ Paged Attention มันดูสมเหตุสมผลขึ้นมาเลย มันเหมือนระบบจัดการหน่วยความจำในระบบปฏิบัติการคอมพิวเตอร์หรือเปล่าคะ
>> แนวแนวคิดเดียวกันเป๊ะเลยครับ ระบบเก่าจะจองหน่วยความจำก้อนใหญ่ไว้ล่วงหน้าให้ KV Cache ซึ่งสิ้นเปลืองมาก
>> อื
>> แต่ Paged Attention จัดการหน่วยความจำโดยแบ่งเป็นเพจหรือบล็อกเล็กๆ ที่ไม่จำเป็นต้องอยู่ติดกัน ทำให้ใช้พื้นที่ว่างทุกหยดในหน่วยความจำได้อย่างมีประสิทธิภาพ
>> แล้วผลลัพธ์มันดีขึ้นขนาดไหนคะ
>> ผลลัพธ์คือลดหน่วยความจำที่เสียไปเปล่าได้กว่าครึ่ง แล้วก็เพิ่มปริมาณงานที่รองรับได้พร้อมกัน 2-4 เท่าเลยทีเดียว
>> โห 2-4 เท่าเลย
>> ครับ ถ้าจะบอกว่าเทคโนโลยีทางวิศวกรรมชิ้นนี้คือฮีโร่ผู้อยู่เบื้องหลังที่ทำให้ AI บูมมันเกิดขึ้นได้ในเชิงธุรกิจก็ไม่ผิดเลยครับ เพราะมันทำให้การให้บริการโมเดลขนาดใหญ่คุ้มค่าพอที่จะทำเป็นธุรกิจได้
>> สุดยอดมากเลยค่ะ จากเรื่องสถาปัตยกรรมมาสู่เรื่องการจัดการหน่วยความจำที่ลึกขนาดนี้ แต่เอกสารยังไม่หยุดแค่นั้น ยังมีอีกเทคโนโลยีนึงที่ถูกพูดถึงในแง่ของการเพิ่มประสิทธิภาพระดับฮาร์ดแวร์เลย นั่นคือ Flash Attention มันเข้ามาแก้ปัญหาอะไรที่ VLM ยังแก้ไม่ได้อีกหรอกค่ะ
>> ถ้า VLM แก้ปัญหาปริมาณหน่วยความจำ Flash Attention จะเข้ามาแก้ปัญหาความเร็วในการเข้าถึงหน่วยความจำครับ
>> ความเร็ว
>> ครับ ปัญหาคอขวดที่ใหญ่ที่สุดอย่างหนึ่งของ GPU ไม่ใช่พลังการคำนวณ แต่เป็นแบนด์วิทของหน่วยความจำ หรือความเร็วในการส่งข้อมูลไปมา กลไก Attention แบบดั้งเดิมเนี่ย มันต้องเขียนข้อมูลเมทริกซ์ขนาดมหึมาลงไปในหน่วยความจำหลักของ GPU ที่เรียกว่า HBM ซึ่งมันช้าครับ
>> พอจะนึกภาพออกค่ะ มันเหมือนกับเรามีช่างฝีมือดีมากๆ แต่ต้องเสียเวลาวิ่งไปหยิบของที่โกดังตลอดเวลา
>> ใช่เลยครับ Analogy นี้เป๊ะมากครับ สิ่งที่ Flash Attention ทำคือการคิดค้นวิธีจัดลำดับการคำนวณใหม่ทั้งหมด มันเหมือนกับการเขียนคู่มือการทำงานพื้นฐานให้ GPU ใหม่เลย เพื่อให้การคำนวณทั้งหมดเกิดขึ้นบนโต๊ะทำงาน
>> โต๊ะทำงาน
>> ครับ ที่เป็นหน่วยความจำขนาดเล็กแต่เร็วสุดๆ บนตัวชิปที่เรียกว่า SRAM โดยไม่ต้องวิ่งไปโกดัง HBM เลย
>> โอ้โห ผลคือความเร็วเพิ่มขึ้นมหาศาลเลยสิคะ
>> ใช่ครับ Flash Attention 2 นี้ดึงประสิทธิภาพฮาร์ดแวร์ออกมาได้ถึง 70% ของขีดจำกัดทางทฤษฎีเลยนะ มันคือการรีดพลังของ GPU ออกมาจนหยดสุดท้ายจริงๆ
>> นี่มันการต่อสู้เพื่อประสิทธิภาพในทุกระดับจริงๆ นะคะ ตั้งแต่สถาปัตยกรรมโมเดล การจัดจานหน่วยความจำ ไปจนถึงการสั่งงาน GPU ที่แกนกลางเลย แต่ดิฉันเห็นอีกเทรนด์นึงในเอกสารที่ดูจะส่วนทางกันนิดหน่อย คือในขณะที่เราพยายามทำทุกอย่างเพื่อรันโมเดลยักษ์ให้ได้ อีกทางนึงเราก็พยายามอย่างยิ่งที่จะย่อส่วนมันลงมาด้วยเทคนิคที่เรียกว่า Quantization
>> ถูกต้องครับ มันเหมือนการต่อสู้ 2 แนวรบพร้อมกันเลย Quantization คือกุญแจสำคัญที่ทำให้เราสามารถรันโมเดลบนอุปกรณ์ขนาดเล็กอย่างสมาร์ทโฟน หรือลดค่าใช้จ่ายบน Cloud ได้
>> แนวคิดของมันก็คือการลดความแม่นยำของตัวเลขใช่มั้คะ
>> ใช่ครับ ลดความแม่นยำของตัวเลขที่ใช้เก็บค่าน้ำหนัก หรือ weight ในโมเดล จากเดิมที่อาจจะเป็นตัวเลขทศนิยม 16 บิต (FP16) ก็ลดให้เหลือแค่เลขจำนวนเต็ม 4 บิต (Int4)
>> ซึ่งลดขนาดโมเดลลงได้ถึง 4 เท่าเลย
>> ใช่ครับ แล้วยังทำให้คำนวณเร็วขึ้นด้วย
>> ฟังดูเหมือนมีแต่ข้อดีเลยนะคะ ลดขนาดได้ 4 เท่า แถมเร็วขึ้นอีก แล้วมันมีข้อแลกเปลี่ยนอะไรมั้คะ มันจะ เอ่อ เสียความฉลาดไปหรือเปล่า
>> นั่นคือความท้าทายหลักเลยครับ ทำยังไงให้ลดความละเอียดแล้วโมเดลยังฉลาดเท่าเดิม
>> ค่ะ แล้วในเอกสารก็พูดถึงวิธีต่างๆ อย่าง GPTQ กับ AWQ ด้วย แสดงว่ามันคงไม่ได้ง่ายขนาดนั้น
>> ใช่ครับ วิธีเก่าๆ อย่าง GPTQ ก็พยายามหาค่าที่ดีที่สุดทางสถิติ แต่แนวทางที่ใหม่กว่าอย่าง AWQ (A Better Way to Quantize) ค้นพบข้อมูลเชิงลึกที่น่าทึ่งมาก เขาพบว่าในบรรดาน้ำหนักหลายแสนล้านตัวในโมเดลเนี่ย มีแค่ประมาณ 1% เท่านั้นที่สำคัญมากๆ ต่อผลลัพธ์จริงๆ
>> แค่ 1% เองหรอคะ
>> ใช่ครับ ดังนั้นแทนที่จะลดความแม่นยำของทุกอย่างเท่าๆ กัน AWQ ใช้วิธีปกป้องน้ำหนัก 1% ที่สำคัญที่สุดเอาไว้
>> อ๋ออ๋อ
>> คือส่วนที่เกี่ยวข้องกับค่า activation ที่สูงๆ แล้วไปลดความแม่นยำของน้ำหนัก 99% ที่เหลืออย่างเต็มที่ ไม่ต้องเกรงใจเลย
>> เป็นวิธีที่ฉลาดแล้วก็ตรงจุดกว่ามากเลยนะคะ
>> ใช่ครับ เพราะมันมองไปถึงการใช้งานของน้ำหนักแต่ละตัว ไม่ได้ดูแค่ค่าของมันเฉยๆ
>> โอเคค่ะ ตอนนี้เราได้ภาพที่ชัดเจนมาก เรามีเครื่องยนต์ AI ที่ทรงพลังจาก Transformers และ MoE มีวิศวกรรมชั้นยอดอย่าง VLM และ Flash Attention ที่ทำให้เครื่องยนต์นี้ทำงานได้จริงอย่างมีประสิทธิภาพ และยังมีเทคนิคอย่าง Quantization ที่จะย่อส่วนมันลงมาได้ด้วย แต่ทั้งหมดนี้มันก็ยังเป็นแค่เครื่องยนต์ดิบๆ ใช่มั้ยคะ เราจะจูนมันยังไงให้มันเป็นรถที่ขับขี่ได้ดี ปลอดภัย และไปในทิศทางที่เราต้องการ
>> ใช่ครับ ซึ่งนั่นก็คือเรื่องการปรับจูน หรือ Alignment ที่เอกสารพูดถึง วิวัฒนาการของมันไว้อย่างน่าสนใจมาก โดยเริ่มจาก RLHF
>> RLHF
>> ครับ Reinforcement Learning from Human Feedback เคยเป็นมาตรฐานทองคำในการทำให้โมเดลเชื่องและมีประโยชน์ มันเป็นกระบวนการ 3 ขั้นตอนที่ค่อนข้างซับซ้อน
>> มีอะไรบ้างคะ
>> 1 คือสอนด้วยตัวอย่างที่ดีๆ ก่อน 2 คือ สร้างโมเดลอีกตัวขึ้นมาต่างหาก เรียกว่า Reward Model หน้าที่ของมันคือเรียนรู้ความชอบของมนุษย์ โดยให้คนมาจัดอันดับคำตอบต่างๆ ว่าชอบอันไหนมากกว่ากัน
>> เดี๋ยวนะคะ แค่ฟังก็น่าจะเหนื่อยแล้ว คือเราต้องให้คนมานั่งจัดอันดับคำตอบเป็นหมื่นๆ แสนๆ ตัวอย่าง และยังต้องเอาข้อมูลนั้นไปเทรน AI อีกตัว แค่เพื่อให้มาเป็นกรรมการตัดสิน AI ตัวหลักอีกที ฟังดูเปราะบางและใช้แรงงานเยอะมากเลยนะคะ
>> เป็นข้อสังเกตที่เฉียบคมมากครับ และนั่นก็คือปัญหาของ RLHF เลย มันทรงพลังแต่ก็ซับซ้อนและไม่ค่อยเสถียร
>> ซึ่งนั่นก็นำเราไปสู่ความก้าวหน้าครั้งสำคัญที่เอกสารพูดถึงก็คือ DPO ใช่ไหมคะ
>> ใช่ครับ DPO หรือ Direct Preference Optimization
>> DPO เข้ามาแก้ความซับซ้อนนี้ยังไงคะ
>> DPO คือการเปลี่ยนมุมมองทางคณิตศาสตร์ทั้งหมดเลยครับ มันค้นพบวิธีที่จะสอนโมเดลได้โดยตรงจากข้อมูลความชอบของมนุษย์ โดยเราไม่จำเป็นต้องสร้าง Reward Model แยกออกมาต่างหาก และไม่ต้องใช้ขั้นตอน Reinforcement Learning ที่ยุ่งยากซับซ้อนอีกต่อไป
>> อ้าว คือมันตัดขั้นตาลที่ 2 กับ 3 ของ RLHF ทิ้งไปเลยหรอคะ
>> ใช่ครับ แล้วรวมทุกอย่างเข้าด้วยกันในขั้นตอนเดียวที่เรียบง่ายและเสถียรกว่ามาก นี่เป็นการเปลี่ยนแปลงที่ยิ่งใหญ่ที่ทำให้การปรับจูนโมเดลทำได้ง่ายและมีประสิทธิภาพขึ้นเยอะเลย
>> การเดินทางจากความซับซ้อนของ RLHF มาสู่ความเรียบง่ายของ DPO นี่มันน่าทึ่งมาก แต่ดูเหมือนเรื่องราวยังไม่จบแค่นั้น เอกสารดูจะตื่นเต้นเป็นพิเศษกับการทดลองของ DeepSeek R1 ที่เหมือนจะพลิกความเข้าใจของเราไปอีกขั้นนึงเลย
>> ใช่ครับ และเรื่องนี้อาจจะนำเราไปสู่คำถามที่ใหญ่ขึ้นกว่าเดิมอีก งานวิจัย DeepSeek R1 ทำในสิ่งที่น่าทึ่งมากครับ พวกเขาลองใช้ Reinforcement Learning กับโมเดลพื้นฐานโดยตรงเลย โดยข้ามขั้นตอนการสอนด้วยตัวอย่างดีๆ ไปทั้งหมดเลย
>> หมายความว่าเขาไม่ได้สอนโมเดลว่าต้องทำอย่างไร แต่แค่ตั้งรางวัลไว้สำหรับคำตอบที่ถูกต้องเท่านั้นหรอคะ
>> ถูกต้องครับ
>> แล้วผลที่ได้คืออะไรคะ
>> ผลที่ได้น่าประหลาดใจมากครับ พวกเขาพบว่าความสามารถในการให้เหตุผลที่ซับซ้อน หรือที่เรียกว่า Chain of Thought มันเกิดขึ้นเองตามธรรมชาติเลย
>> เกิดขึ้นเองเลยหรอคะ ไม่ได้สอนหรอ
>> ครับ โมเดลเรียนรู้ที่จะคิดเป็นขั้นเป็นตอนด้วยตัวเอง เพื่อที่จะไปให้ถึงคำตอบที่ถูกต้องและได้รับรางวัล มันชี้ให้เห็นว่าการให้เหตุผลอาจจะไม่ใช่ทักษะที่เราต้องป้อนเข้าไปตรงๆ แต่เป็นพฤติกรรมที่สามารถถูกจูงใจให้เกิดขึ้นมาเองได้
>> โหนี่มันเปลี่ยนมุมมองไปเลยนะ จากการที่เราพยายามสอน AI ให้คิดเป็น มาสู่การที่เราแค่สร้างแรงจูงใจที่ถูกต้อง แล้วมันก็เรียนรู้ที่จะคิดได้เอง โอเคค่ะ เรามาสรุปภาพทั้งหมดของการเดินทางครั้งนี้กันดีกว่า จากพิมพ์เขียว AI กองใหญ่นี้ สิ่งที่ชัดเจนที่สุดคือ AI สมัยใหม่ไม่ใช่แค่เรื่องของโมเดลอย่างเดียว แต่มันเป็นระบบที่บูรณาการเข้าด้วยกันอย่างสมบูรณ์แบบ
>> ถูกต้องครับ มันคือการเต้นรำร่วมกันของ 3 เสาหลักที่เราคุยกันมาตลอด เริ่มจากนวัตกรรมทางสถาปัตยกรรมอย่าง Transformers และ MoE ที่ให้กำเนิดโมเดลที่ทรงพลัง ตามมาด้วยทับเสริมทางวิศวกรรมอย่าง VLM, Flash Attention และ Quantization ที่ทำให้พลังนั้นใช้งานได้จริงในโลกแห่งความเป็นจริง และสุดท้ายคือเทคนิคการปรับจูนอันชาญฉลาดอย่าง DPO ที่ทำให้มันมีประโยชน์และปลอดภัย ทุกส่วนทำงานประสานกันอย่างลงตัวครับ
>> สิ่งที่น่าประหลาดใจที่สุดสำหรับดิฉัน จากการเจาะลึกครั้งนี้คือนวัตกรรมส่วนใหญ่ที่ผลักดันวงการไปข้างหน้าในช่วงหลังๆ กลับไปอยู่ในส่วนของวิศวกรรมการเพิ่มประสิทธิภาพและการให้บริการ ไม่ใช่แค่เรื่องการสร้างโมเดลให้ใหญ่ขึ้นๆ เพียงอย่างเดียวอีกต่อไป มันคือการทำงานในรายละเอียดที่ลึกมากๆ
>> ใช่เลยครับ และนั่นก็นำเรามาสู่ข้อคิดสุดท้ายที่น่าสนใจสำหรับวันนี้
>> ค่ะ
>> การทดลองของ DeepSeek R1 แสดงให้เห็นว่าพฤติกรรมกรรมที่ซับซ้อนอย่างการให้เหตุผลสามารถเป็นคุณสมบัติที่เกิดขึ้นเองได้จากการเรียนรู้แบบเสริมแรง ถ้าเราสามารถสร้างแรงจูงใจให้โมเดลคิดอย่างมีเหตุผลได้โดยไม่ต้องสอนอย่างชัดเจน นั่นหมายความว่าอะไรต่ออนาคตของการพัฒนา AI ล่ะครับ
>> อื
>> เรากำลังเปลี่ยนจากการสร้างพฤติกรรมอัจฉริยะ ไปสู่การเพาะเลี้ยงมันขึ้นมาในสภาพแวดล้อมที่เหมาะสมแทนหรือเปล่า และถ้าเป็นอย่างนั้นจริง จะมีขีดความสามารถใหม่ๆ อะไรอีกที่เรายังจินตนาการไม่ถึง ที่อาจจะเกิดขึ้นเองได้จากกระบวนการนี้