ข้อผิดพลาดใดเกิดซ้ำในการรันพรอมป์หลายครั้ง

เมื่อคำตอบเปลี่ยนทุกครั้ง ประโยคที่ไม่นิ่งย่อมดึงดูดความสนใจ แต่คำถามที่ยากกว่าคือ ภายใต้ประโยคเหล่านั้น การระบุเอนทิตีผิด หมวดหมู่ผิด สถานที่ผิด หรือข้อกล่าวอ้างที่ไม่มีหลักฐานรองรับแบบเดิมยังคงเกิดซ้ำหรือไม่

ในการรันหนึ่งของสถานการณ์ประกอบ ธุรกิจเวลเนสแห่งหนึ่งในกรุงเทพฯ ถูกเรียกว่าโรงพยาบาล ในการรันถัดมา มันกลายเป็น “ศูนย์การแพทย์เฉพาะทาง” คำตอบชุดที่สามอธิบายอย่างระมัดระวังขึ้นว่าเป็นคลินิก แต่กลับแนะนำสถานที่นั้นสำหรับบริการที่ธุรกิจไม่ได้โฆษณา ชื่อยังคงดูคุ้นเคยตลอดทุกครั้ง เช่นเดียวกับหน้าบริการหนึ่งหน้าที่ถูกอ้างไว้ข้างคำอธิบายซึ่งเปลี่ยนไปมา

สถานการณ์นี้สร้างจากรูปแบบที่เกิดซ้ำรอบวัตถุการศึกษา A ซึ่งเป็นคลินิกอิสระที่มีชื่อไทยทับศัพท์เป็นภาษาอังกฤษได้หลายแบบ และคล้ายกับชื่อของสถานพยาบาลขนาดใหญ่กว่า ถ้อยคำเปลี่ยนไปมา แต่ปัญหาพื้นฐานไม่ได้หายไปง่าย ๆ ในแต่ละการรัน ระบบยังคงดึงธุรกิจเข้าหาอัตลักษณ์ทางการแพทย์ที่กว้างกว่า แม้ป้ายชื่อที่ใช้และระดับความแน่ใจจะแตกต่างกัน

สิ่งแรกที่เปลี่ยนคือประโยค

คำตอบที่ระบบสร้างแทบไม่กลับมาเป็นสำเนาที่เหมือนกันอย่างเรียบร้อย โมเดลอาจสลับลำดับคำแนะนำ ย่อคำอธิบาย ตัดแหล่งอ้างอิงออก ใช้คำพ้องแทน หรือเพิ่มข้อจำกัดที่ไม่มีอยู่ในการรันก่อนหน้า แม้พรอมป์ดูเหมือนไม่เปลี่ยน คำตอบก็อาจมาในรูปถ้อยคำชุดใหม่

ความแปรผันที่มองเห็นได้นี้ชวนให้เกิดการตีความผิดสองทาง ผู้อ่านคนหนึ่งอาจปัดการทดลองทั้งหมดทิ้ง เพราะระบบ “สุ่ม” ส่วนอีกคนอาจถือว่าทุกประโยคที่เปลี่ยนไปเป็นผลลัพธ์ใหม่ และนับความแตกต่างที่แทบไม่เกี่ยวกับเอนทิตีของธุรกิจซึ่งกำลังถูกนำเสนอ การอ่านทั้งสองแบบทำให้โครงสร้างของการสังเกตหายไป

ห้องปฏิบัติการถือว่าการรันแบบทำซ้ำได้คือการสอบถามใหม่ โดยรักษาเงื่อนไขของพรอมป์และขั้นตอนไว้เพียงพอที่จะเปรียบเทียบสิ่งที่เกิดขึ้นอีก ไม่จำเป็นต้องได้ถ้อยคำเหมือนกัน บันทึกประกอบด้วยพรอมป์ คำตอบ แหล่งอ้างอิงที่มองเห็นได้ ภาษา บริบทของโมเดล วันที่สังเกต และเงื่อนไขการรันที่เกี่ยวข้อง เมื่อมีเงื่อนไขใดรักษาไว้ไม่ได้ การเปลี่ยนแปลงนั้นจะถูกระบุ ไม่ปล่อยให้ปะปนกับการเปรียบเทียบโดยไม่มีคำอธิบาย

ข้อผิดพลาดที่เกิดซ้ำคือรูปแบบในระดับข้อกล่าวอ้างซึ่งกลับมาภายใต้การรันที่รักษาเงื่อนไขไว้ โดยความไม่ตรงกันด้านเอนทิตี การกำหนดคุณลักษณะ หรือแหล่งข้อมูลแบบเดิมยังคงอยู่แม้ถ้อยคำจะเปลี่ยน

คำจำกัดความนี้จงใจแคบกว่า “คำตอบดูคล้ายกัน” การรันสองครั้งอาจแทบไม่มีถ้อยคำร่วมกัน แต่ยังระบุจังหวัดผิดจังหวัดเดิม ในทางกลับกัน ย่อหน้าสองชุดที่แทบเหมือนกันอาจต่างกันตรงจุดเดียวที่สำคัญ ชุดหนึ่งระบุสาขาถูกต้อง ขณะที่อีกชุดยืมที่อยู่ของสถานที่แห่งอื่นเข้ามาอย่างเงียบ ๆ

งานแรกจึงเป็นการแยกความเปลี่ยนแปลงระดับประโยคออก โดยไม่ทิ้งหลักฐานไปด้วย ห้องปฏิบัติการเปรียบเทียบว่าระบบดูเหมือนระบุเอนทิตีใด กำหนดหมวดหมู่ใด ระบุสถานที่ใด แนบคุณลักษณะอะไร และแหล่งข้อมูลที่มองเห็นได้รองรับข้อกล่าวอ้างเหล่านั้นหรือไม่ ร้อยแก้วของคำตอบยังคงเป็นส่วนหนึ่งของการสังเกต แต่ไม่ถูกปล่อยให้ครอบงำการวิเคราะห์อีกต่อไป

อะไรจึงนับว่าเป็นข้อผิดพลาดเดียวกัน

สมมติว่าคลินิกในสถานการณ์ประกอบปรากฏในการสอบถามใหม่สี่ครั้ง คำตอบหนึ่งเรียกว่าโรงพยาบาล อีกคำตอบเรียกว่าศูนย์การแพทย์ อีกคำตอบใช้คำว่าผู้ให้บริการสุขภาพเอกชน และอีกคำตอบเรียกว่าเป็นคลินิกที่มี “สิ่งอำนวยความสะดวกระดับโรงพยาบาล” สิ่งเหล่านี้ไม่ใช่ข้อกล่าวอ้างที่เหมือนกัน แต่ยังอาจอยู่ในรูปแบบที่เกิดซ้ำแบบเดียวกัน หากคำอธิบายแต่ละแบบขยายเกินหมวดหมู่ที่เนื้อหาของคลินิกเองและข้อมูลในรายการสาธารณะที่มองเห็นได้รองรับ

ห้องปฏิบัติการระมัดระวังในจุดนี้ ความคล้ายคลึงเพียงอย่างเดียวเป็นหลักฐานที่อ่อน หมวดหมู่ที่กว้างขึ้นอาจเข้ามาได้หลายเส้นทาง ได้แก่ ป้ายหมวดหมู่ที่แพลตฟอร์มสร้าง การจับคู่เอนทิตีผิด ชื่อทับศัพท์ภาษาอังกฤษที่ใช้ร่วมกับสถานพยาบาลขนาดใหญ่กว่า หรือถ้อยคำตามปกติของโมเดลที่บีบคำทางการแพทย์หลายคำให้เหลือหมวดหมู่เดียว บันทึกจากการรันแบบทำซ้ำได้ไม่ได้พิสูจน์ว่าภายในระบบใช้เส้นทางใด แต่แสดงให้เห็นว่าการเบี่ยงออกจากหลักฐานที่มีอยู่ในลักษณะเดิมเกิดซ้ำหรือไม่

ความแตกต่างชัดขึ้นเมื่อทีมเปรียบเทียบความสัมพันธ์ระหว่างข้อกล่าวอ้างกับแหล่งข้อมูล แบบจำแนกความสัมพันธ์กับแหล่งข้อมูลสี่แบบให้คำศัพท์ที่คงที่แก่รูปแบบที่เกิดซ้ำ การสนับสนุนโดยตรงเกิดขึ้นเมื่อหน้าที่อ้างถึงรองรับข้อกล่าวอ้างตามที่เขียน การสนับสนุนเกินขอบเขตเกิดขึ้นเมื่อหน้าดังกล่าวรองรับข้อเท็จจริงที่แคบกว่า เช่น บริการรักษาที่มีให้ แต่คำตอบขยายข้อเท็จจริงนั้นไปเป็นหมวดหมู่โรงพยาบาล การยืมอัตลักษณ์เกิดขึ้นเมื่อรายละเอียดจากอีกองค์กรถูกนำเข้าไปในคำอธิบายของคลินิก ส่วนข้อกล่าวอ้างที่ปรากฏโดยไม่มีหลักฐานรองรับหมายถึงข้อกล่าวอ้างที่ไม่มีแหล่งข้อมูลที่มองเห็นได้ในการสังเกตรองรับ

ความสัมพันธ์เหล่านี้อาจคงอยู่แม้แหล่งอ้างอิงจะเปลี่ยน การรันหนึ่งอาจอ้างหน้าบริการรักษาของคลินิกและขยายข้อมูลจากหน้านั้นไปเป็นข้อกล่าวอ้างด้านหมวดหมู่ อีกครั้งอาจอ้างไดเรกทอรีที่ใช้ป้ายหมวดหมู่กว้างเกินไป ครั้งที่สามอาจไม่แสดงแหล่งอ้างอิงไว้ข้างหมวดหมู่เดียวกัน หลักฐานชั้นผิวต่างกัน แต่แนวโน้มที่เกิดซ้ำยังคงพาธุรกิจไปสู่สถานะที่กว้างกว่าสิ่งซึ่งเนื้อหาที่มีอยู่รองรับ

กรณีกลับกันก็เกิดขึ้นได้ แหล่งอ้างอิงเดียวกันอาจถูกวางไว้ข้างข้อกล่าวอ้างต่างกัน ในคำตอบหนึ่ง แหล่งนั้นรองรับที่อยู่ของคลินิกโดยตรง ในอีกคำตอบ แหล่งเดียวกันถูกวางหลังประโยคที่รวมที่อยู่ ความเป็นเจ้าของ หมวดหมู่ทางการแพทย์ และคำตัดสินด้านคุณภาพไว้ด้วยกัน หน้ายังเหมือนเดิม แต่ภาระที่คำตอบวางลงบนหน้านั้นเปลี่ยนไป

ดังนั้น ข้อผิดพลาดที่เกิดซ้ำต้องถูกอธิบายในระดับที่เหมาะสม ประโยคว่า “โมเดลให้คำตอบซ้ำเดิม” มักกว้างเกินไป ส่วนประโยคว่า “หมวดหมู่โรงพยาบาลกลับมาภายใต้ถ้อยคำสามแบบ ทั้งที่แหล่งข้อมูลที่มองเห็นได้รองรับเพียงการรักษาและสถานที่” สามารถตรวจสอบได้ มันบอกผู้อ่านคนอื่นว่าส่วนใดคงที่และการสนับสนุนหยุดลงตรงไหน

การเกิดซ้ำอาจเผยการระบุเอนทิตีผิด

วัตถุการศึกษา B แสดงรูปแบบประกอบอีกแบบหนึ่ง เป็นกลุ่มร้านอาหารระดับภูมิภาคที่มีสาขาในกรุงเทพฯ และจังหวัดข้างเคียง หน้าโซเชียล รายการบนแผนที่ แพลตฟอร์มจอง และรายการในไดเรกทอรีของกลุ่มใช้ชื่อสาขาไม่สอดคล้องกัน ขณะเดียวกันมีร้านอิสระชื่อคล้ายกันอยู่ในหมวดหมู่การค้นหาเดียวกัน

ในชุดการรันซ้ำตัวอย่างหนึ่ง คำตอบแรกแนะนำสาขากรุงเทพฯ แต่ให้ที่อยู่ของจังหวัดข้างเคียง คำตอบที่สองเลือกสาขาต่างจังหวัดและแนบคำอธิบายที่ดูเหมือนนำมาจากร้านอิสระ คำตอบที่สามหลีกเลี่ยงการระบุสาขา แล้วบอกว่าร้านตั้งอยู่ “นอกกรุงเทพฯ เพียงเล็กน้อย” นอกจากนี้ยังระบุวันหยุดผิด ซึ่งเป็นข้อผิดพลาดเล็ก ๆ ที่ไม่เข้ากับเรื่องความสับสนระหว่างสาขาได้อย่างเรียบร้อยนัก

ความแตกต่างเหล่านี้สำคัญ เพราะแสดงให้เห็นว่าระบบไม่ได้เพียงคัดลอกชุดข้อมูลคงที่ชุดเดียว ถึงกระนั้น เส้นแบ่งระหว่างสาขาก็ยังไม่นิ่งในทุกครั้ง ชื่อกลุ่มดูเหมือนทำหน้าที่เป็นป้ายหน้าลิ้นชักที่คลุมกว้างเกินไป ข้อมูลที่เกี่ยวข้องกับหลายสถานที่ถูกใส่ไว้ข้างใน แล้วถูกหยิบกลับออกมาโดยไม่มีตัวแบ่งที่เชื่อถือได้

ห้องปฏิบัติการจะบันทึกเรื่องนี้ว่าเป็นปัญหาการระบุเอนทิตีที่เกิดซ้ำ ก็ต่อเมื่อตรวจสอบหลักฐานที่มองเห็นได้ของแต่ละการรันแล้ว ชื่อกลุ่มที่ดูถูกต้องไม่ได้พิสูจน์ว่าระบบระบุสาขาถูกต้อง ที่อยู่ ลิงก์จอง หมวดหมู่ ภาพถ่าย และแหล่งข้อมูลสนับสนุนอาจชี้ไปที่อื่น

การรันซ้ำมีประโยชน์เป็นพิเศษเมื่อคำตอบหนึ่งดูสมเหตุสมผลพอที่จะหลุดรอดจากการตรวจ ร้านอาหารในกรุงเทพฯ ที่ถูกอธิบายด้วยจุดสังเกตในต่างจังหวัดอาจไม่ได้ดูผิดอย่างชัดเจนสำหรับผู้อ่านที่ไม่คุ้นเคยกับพื้นที่ เมื่อการรั่วไหลทางภูมิศาสตร์แบบเดิมปรากฏอีกครั้งภายใต้ถ้อยคำที่เปลี่ยนไป ความคลาดเคลื่อนจะแยกออกมาได้ง่ายขึ้น การเกิดซ้ำไม่ได้ยืนยันคำอธิบายของห้องปฏิบัติการ แต่อาจทำให้การข้ามเส้นแบ่งของเอนทิตีที่สังเกตได้ยากจะปัดทิ้งว่าเป็นเพียงความผิดพลาดเฉพาะประโยค

ยังมีความเป็นไปได้อีกแบบที่มีประโยชน์ คือข้อผิดพลาดอาจแตกเป็นชิ้น การรันหนึ่งให้ที่อยู่ผิด อีกการรันให้สถานะเปิดทำการผิด และครั้งที่สามนำภาษาบรรยายชื่อเสียงของร้านชื่อคล้ายกันมาใช้ ไม่จำเป็นต้องถือว่าข้อกล่าวอ้างเหล่านี้ไม่เกี่ยวกันเพียงเพราะมันมาแยกกัน หากร่องรอยแหล่งข้อมูลข้ามเส้นแบ่งเอนทิตีเดิมซ้ำ ๆ การรันเหล่านั้นอาจเผยชิ้นส่วนต่าง ๆ ของปัญหาการระบุเดียวกัน

ทีมไม่พยายามบังคับให้ได้คำตอบที่เรียบร้อย ชื่อร่วมกันอาจอธิบายความสับสนได้ แต่รายการข้อมูลเก่า หมวดหมู่ของแพลตฟอร์ม หรือหน้าสาขาที่ตั้งชื่อภายในไม่ชัดเจนก็อาจอธิบายได้เช่นกัน คำอธิบายหลายแบบอาจยังคงสอดคล้องกับการสังเกต ทีมจึงรักษาความไม่แน่นอนนั้นให้มองเห็นได้

ความสม่ำเสมอไม่เท่ากับความจริง

ข้อกล่าวอ้างที่ถูกต้องและเกิดซ้ำสมควรถูกตรวจสอบด้วยมาตรฐานเดียวกับข้อกล่าวอ้างที่ผิดและเกิดซ้ำ หากการรันหลายครั้งให้ที่อยู่เดียวกัน ผลลัพธ์อาจดูน่าเชื่อถือ ห้องปฏิบัติการยังคงตรวจที่อยู่นั้นกับเนื้อหาที่มองเห็นได้และเอนทิตีที่กำลังกล่าวถึง ข้อความที่เกิดซ้ำอย่างสม่ำเสมออาจมาจากหน้าที่ล้าสมัยหรือจับคู่ผิดหน้าเดิมทุกครั้ง

ตรงนี้การเกิดซ้ำอาจทำให้เข้าใจผิดได้ มนุษย์ไวต่อสิ่งที่เกิดซ้ำ เมื่อเห็นข้อกล่าวอ้างหลายครั้ง มันเริ่มให้ความรู้สึกว่าได้รับการยืนยัน แม้แต่ละครั้งอาจสืบทอดมาจากระเบียนสาธารณะที่กำกวมชุดเดียวกัน ความมั่นใจของโมเดลยิ่งขยายผลนี้ ประโยคที่ลื่นไหลและกลับมาโดยเปลี่ยนเพียงเล็กน้อยเริ่มดูคล้ายการยืนยันจากหลายทาง

บันทึกการวิจัยช่วยหักภาพลวงนั้นด้วยการแยกแต่ละการรันออกจากกัน ความสอดคล้องระหว่างการรันคือการสังเกต ส่วนการสนับสนุนถูกประเมินเป็นรายข้อกล่าวอ้าง การที่หมวดหมู่หนึ่งเกิดซ้ำบอกห้องปฏิบัติการว่าหมวดหมู่นั้นคงอยู่ภายใต้เงื่อนไขที่บันทึกไว้ ไม่ได้แสดงว่าหมวดหมู่นั้นถูกต้อง และไม่ได้พิสูจน์ว่าเกิดจากแหล่งข้อมูลอิสระหลายแหล่ง

วินัยแบบเดียวกันใช้เมื่อข้อผิดพลาดหายไป การรันในภายหลังที่ระบุสาขาถูกต้องไม่ได้ลบการสังเกตก่อนหน้า แต่มันแสดงว่ารูปแบบนั้นมีความแปรผัน จากนั้นห้องปฏิบัติการจึงถามว่ามีอะไรเปลี่ยนอีกบ้าง ได้แก่ ถ้อยคำของพรอมป์ ภาษา แหล่งอ้างอิงที่มองเห็นได้ บริบทของโมเดล ช่วงเวลาของการสังเกต หรือข้อมูลสาธารณะที่มีอยู่เกี่ยวกับเอนทิตีนั้น

บางครั้งไม่มีสิ่งใดที่มองเห็นได้อธิบายการแก้ไข ความไม่มีคำอธิบายนั้นเป็นส่วนหนึ่งของบันทึกเช่นกัน ระบบสร้างเนื้อหาอาจเลือกข้อมูลต่างกันภายใต้เงื่อนไขที่ดูคล้ายกัน และห้องปฏิบัติการไม่สามารถตรวจสอบทุกขั้นตอนภายในได้ การหายไปของข้อผิดพลาดจึงไม่ควรถูกสรุปว่าเป็นผลจากการแก้ไข เว้นแต่จะมีหลักฐานว่ามีการแก้ไขจริง

สำหรับเจ้าของธุรกิจ ความแตกต่างนี้มีน้ำหนักในทางปฏิบัติ คำตอบผิดเพียงครั้งเดียวอาจเป็นเหตุบังเอิญ แต่ข้อผิดพลาดที่เกิดซ้ำแสดงให้เห็นว่า ภายใต้เงื่อนไขที่บันทึกไว้ ระบบสามารถประกอบธุรกิจเวอร์ชันที่ผิดนั้นขึ้นมาใหม่ได้อีก การตอบสนองที่เหมาะสมแทบไม่ใช่การไล่แก้ประโยคเฉพาะหน้า แต่คือการตรวจชื่อ ป้ายสาขา หมวดหมู่ ที่อยู่ และความสัมพันธ์กับแหล่งข้อมูลที่เกิดร่วมกับข้อผิดพลาดซ้ำ ๆ

สิ่งที่การรันซ้ำไม่อาจเปิดเผย

ชุดบันทึกที่เก็บรักษาไว้สามารถแสดงได้ว่ารูปแบบหนึ่งเกิดซ้ำ แต่ไม่สามารถเปิดเผยโครงสร้างพื้นฐานการดึงข้อมูลภายในที่ไม่เปิดเผยของโมเดล ตรรกะการจัดอันดับที่ซ่อนอยู่ ขั้นตอนกลางที่ไม่ได้เปิดเผย หรือทุกแหล่งข้อมูลที่ระบบใช้ภายใน เส้นทางการดึงข้อมูลที่ปรากฏจึงยังเป็นการสร้างขึ้นใหม่จากหลักฐานที่มองเห็นได้

การสังเกตซ้ำยังไม่ก่อให้เกิดอัตราความล้มเหลวเชิงตัวเลข เว้นแต่ห้องปฏิบัติการจะออกแบบและเก็บรักษาชุดตัวอย่างที่รองรับตัวเลขดังกล่าว การรันพรอมป์หลายครั้งและเห็นข้อผิดพลาดเกิดซ้ำไม่ได้ทำให้สามารถกล่าวได้ว่าผู้ใช้ทั้งหมดจะพบมันบ่อยเพียงใด ผลลัพธ์เป็นของเงื่อนไขที่บันทึกไว้

บริบทของโมเดลอาจเปลี่ยนระหว่างวันที่สังเกต ดัชนีค้นหาเปลี่ยน รายการข้อมูลถูกแก้ไข แหล่งอ้างอิงปรากฏหรือหายไป และตัวระบบอาจได้รับการอัปเดตโดยไม่ทำให้ผู้วิจัยเห็นจุดเปลี่ยนระหว่างเวอร์ชันอย่างชัดเจน เมื่อความเปลี่ยนแปลงเหล่านั้นมองเห็นได้ ห้องปฏิบัติการจะบันทึกไว้ เมื่อมองไม่เห็น การเปรียบเทียบย่อมมีความไม่แน่นอนเพิ่มขึ้น

ยังมีข้อจำกัดที่ละเอียดกว่านั้น ขั้นตอนอาจทำให้รูปแบบที่เกิดซ้ำดูเป็นหนึ่งเดียวมากกว่าความเป็นจริง คำว่า “สาขาผิด” อาจครอบคลุมกลไกหลายแบบ ได้แก่ หน้ารวมของเครือ แพลตฟอร์มจองที่ซ่อนป้ายสาขา ชื่อภาษาอังกฤษที่กำกวม หรือวลีทางภูมิศาสตร์ที่ถูกตีความกว้างเกินไป ห้องปฏิบัติการจึงเก็บข้อกล่าวอ้างและแหล่งข้อมูลแต่ละรายการไว้ก่อนนำคำอธิบายระดับสูงกว่ามาใช้

ข้อสรุปที่หนักแน่นที่สุดจากการรันพรอมป์ซ้ำมักมีขอบเขตจำกัด ภายใต้เงื่อนไขที่ระบุ ปัญหาด้านเอนทิตี การกำหนดคุณลักษณะ สถานที่ หรือการสนับสนุนแบบหนึ่งเกิดซ้ำ ข้อสรุปเช่นนี้มีคุณค่า เพราะมันระบุจุดเปราะบางที่ภาพแทนซึ่งระบบสร้างเกิดความผิดพลาดซ้ำ ๆ แม้แต่ละย่อหน้าจะแสดงความผิดพลาดนั้นในรูปแบบต่างกันเล็กน้อย