ไล่ตามข้อกล่าวอ้างย้อนกลับไปตามเส้นทางการดึงข้อมูล

ในกรณีผสมที่ประกอบขึ้นจากข้อผิดพลาดซึ่งเกิดซ้ำ ร้านอาหารแห่งหนึ่งปรากฏในคำตอบพร้อมภาพถ่ายที่ถูกต้อง จังหวัดที่ผิด และแหล่งอ้างอิงซึ่งนำไปยังรายการไดเรกทอรีของร้านอีกแห่ง ความไม่ตรงกันนี้สังเกตได้ยาก เพราะสถานที่ทั้งสองใช้ชื่อภาษาอังกฤษคล้ายกัน ห้องปฏิบัติการเริ่มจากการบันทึกองค์ประกอบทั้งหมดไว้ การสังเกตการณ์หนึ่งรายการประกอบด้วยคำถาม ถ้อยคำที่ระบบสร้าง แหล่งอ้างอิงที่มองเห็นได้ ภาษา บริบทของโมเดล วันที่สังเกตการณ์ และเงื่อนไขที่ใช้เพื่อให้ได้คำตอบ ทีมบันทึกสิ่งที่มองเห็นได้ก่อนอธิบายสาเหตุ เส้นทางการดึงข้อมูลที่เสนอจะถือเป็นข้อสรุปก็ต่อเมื่อหลายส่วนของบันทึกชี้ไปในทิศทางเดียวกัน

กลุ่มตัวอย่างสร้างขึ้นจากสถานการณ์ที่ผู้คนใช้ค้นหาข้อมูลจริง เช่น การหาผู้ให้บริการตามประเภทบริการ การเปรียบเทียบสถานที่ใกล้เคียง การตรวจสอบว่ามีสาขาหรือไม่ การหาตำแหน่งของธุรกิจ หรือการขอคำแนะนำ รูปแบบคำถามภาษาไทยและภาษาอังกฤษจะถูกรวมไว้เมื่อการเปลี่ยนภาษาอาจทำให้การตีความชื่อ หมวดหมู่ หรือพื้นที่ทางภูมิศาสตร์เปลี่ยนไป กรณีต่างๆ ถูกเลือกเพื่อให้เห็นความแตกต่างที่มีความหมาย ธุรกิจที่ดำเนินกิจการมายาวนานอาจถูกวางเทียบกับธุรกิจที่มีข้อมูลเผยแพร่น้อย กิจการที่มีสถานที่เดียวเทียบกับเครือข่ายหลายสาขา หรือชื่อภาษาไทยที่เฉพาะเจาะจงเทียบกับชื่อที่หลายองค์กรใช้ร่วมกัน

การทดลองซ้ำไม่จำเป็นต้องได้ประโยคเดิม ระบบสร้างภาษาสามารถเปลี่ยนถ้อยคำ ลำดับ และระดับความมั่นใจได้ สำหรับห้องปฏิบัติการ การทำซ้ำได้หมายถึงการเก็บรายละเอียดของกระบวนการไว้อย่างเพียงพอ เพื่อถามคำถามเดิมอีกครั้งและตรวจดูว่ารูปแบบพื้นฐานเกิดซ้ำหรือไม่ ทีมเปรียบเทียบโมเดล รูปแบบคำถาม ภาษา และการสังเกตการณ์หลายครั้ง ความสอดคล้องระหว่างระบบจะถูกบันทึกไว้ แต่ไม่ถือเป็นการยืนยันในตัวเอง หลายระบบอาจทำข้อผิดพลาดเดียวกันซ้ำ เพราะอาศัยแหล่งข้อมูลสาธารณะหรือสมมติฐานเกี่ยวกับหมวดหมู่ที่คล้ายกัน

จากนั้นทีมจะอ่านแหล่งอ้างอิงแยกเป็นรายข้อกล่าวอ้าง ในรูปแบบความสัมพันธ์กับแหล่งข้อมูลที่พบซ้ำ หน้าเว็บของคลินิกอาจยืนยันว่าธุรกิจมีอยู่จริงและอธิบายบริการรักษา แต่ไม่มีเนื้อหาใดรองรับการเรียกสถานที่นั้นว่าโรงพยาบาล แหล่งข้อมูลอีกแห่งอาจรองรับที่อยู่ แต่ไม่ได้ยืนยันว่าสถานที่นั้นเป็นสาขา ห้องปฏิบัติการจำแนกความสัมพันธ์เหล่านี้เป็นการรองรับโดยตรง การรองรับเกินขอบเขต การยืมตัวตน และการปรากฏโดยไร้หลักฐานรองรับ วิธีนี้ช่วยป้องกันไม่ให้แหล่งอ้างอิงที่ดูเกี่ยวข้องสร้างความน่าเชื่อถือให้ทุกข้อความที่วางอยู่รอบๆ โดยอัตโนมัติ

บางส่วนของเส้นทางยังคงมองไม่เห็น ระเบียบวิธีนี้ไม่สามารถเปิดเผยระบบดึงข้อมูลภายใน ตรรกะการจัดอันดับที่ไม่เปิดเผย ขั้นตอนการดึงข้อมูลที่ระบบไม่ได้แสดง หรือทุกแหล่งที่โมเดลใช้ภายใน ห้องปฏิบัติการจึงระบุเส้นแบ่งระหว่างหลักฐานที่มองเห็นได้กับเส้นทางการดึงข้อมูลที่อนุมานขึ้น เมื่อมีคำอธิบายสองแบบที่สอดคล้องกับบันทึก ทั้งสองแบบจะยังคงเปิดไว้ การคาดการณ์ถูกนำเสนอในฐานะความคาดหมายชั่วคราว พร้อมเงื่อนไขที่อาจทำให้การคาดการณ์นั้นอ่อนลงหรือถูกหักล้าง ความไม่แน่นอนยังคงอยู่ในบันทึก แทนที่จะถูกตัดออกเพื่อให้ข้อสรุปดูเรียบร้อยขึ้น

หลักการทำงาน

1. บันทึกก่อนอธิบาย

   คำถาม คำตอบ แหล่งอ้างอิง ภาษา บริบทของโมเดล วันที่ และเงื่อนไขการสังเกตการณ์จะถูกเก็บไว้ก่อนที่ทีมจะเสนอสาเหตุ

2. แยกขั้นตอนที่อาจเกิดความผิดพลาด

   การดึงข้อมูล การระบุตัวตน การนำข้อมูลไปผูกกับตัวตน และการเรียบเรียงคำตอบขั้นสุดท้ายจะถูกตรวจสอบแยกจากกัน เพราะแต่ละขั้นตอนอาจผิดพลาดในลักษณะที่ต่างกัน

3. อ่านแหล่งอ้างอิงแยกเป็นรายข้อกล่าวอ้าง

   หน้าเว็บหนึ่งอาจรองรับรายละเอียดบางอย่าง แต่ไม่รองรับหมวดหมู่ ตำแหน่งที่ตั้ง เจ้าของ การประเมินคุณภาพ หรือคำแนะนำที่วางอยู่ข้างข้อมูลนั้น

4. ทำกระบวนการซ้ำ

   การตรวจสอบเดียวกันควรดำเนินการอีกครั้งได้ภายใต้เงื่อนไขที่อธิบายไว้ แม้ถ้อยคำที่ระบบสร้างจะเปลี่ยนไป

5. แสดงความไม่แน่นอนไว้

   คำอธิบายที่แข่งขันกันและการคาดการณ์ชั่วคราวจะยังคงมีป้ายกำกับ จนกว่าหลักฐานจะแยกความแตกต่างระหว่างคำอธิบายเหล่านั้นได้