ถ้อยคำในพรอมต์เปลี่ยนเส้นทางการดึงข้อมูลที่อนุมานได้อย่างไร

พรอมต์ไม่ได้ทำเพียงร้องขอข้อมูล คำที่ใช้ระบุหมวดหมู่ ชื่อสถานที่ และสิ่งที่คำถามขอให้ระบบทำ อาจกำหนดอย่างเงียบ ๆ ว่าภาพแทนแบบใดของธุรกิจจะกลายเป็นสิ่งที่ระบบค้นหาได้ง่ายที่สุด

ในสถานการณ์ตัวอย่างที่ประกอบจากหลายกรณี คำถามว่า “หาคลินิกสุขภาพในกรุงเทพฯ” ให้ผลเป็นผู้ให้บริการอิสระขนาดเล็ก ส่วนคำถามว่า “หาโรงพยาบาลเอกชนในกรุงเทพฯ ที่ให้บริการรักษาแบบเดียวกัน” ตอบกลับด้วยชื่อภาษาอังกฤษเดียวกัน แต่คราวนี้ชื่อนั้นถูกเชื่อมเข้ากับเอนทิตีทางการแพทย์ที่มีขนาดใหญ่กว่า พรอมต์ที่สามถามหา “สถานที่รักษาที่ดีที่สุดใกล้เขตนี้” และสร้างคำแนะนำที่รวมที่อยู่ของคลินิกเข้ากับหมวดหมู่ของสถานพยาบาลขนาดใหญ่

สถานการณ์นี้สร้างขึ้นรอบกรณีศึกษา A ชื่อภาษาไทยของคลินิกถอดเป็นภาษาอังกฤษได้หลายแบบ และคล้ายกับชื่อของสถานพยาบาลขนาดใหญ่กว่า เว็บไซต์ของคลินิกอธิบายบริการรักษา ขณะที่รายการแผนที่และไดเรกทอรีใช้หมวดหมู่ที่กว้างกว่าอย่างไม่สม่ำเสมอ กรณีพื้นฐานยังคงเป็นกรณีเดียวกัน แต่ถ้อยคำในพรอมต์เปลี่ยนไป และเส้นทางการดึงข้อมูลที่อนุมานได้จากหลักฐานที่มองเห็นก็เปลี่ยนตาม

คำไม่กี่คำก็เปลี่ยนขอบเขตการค้นหาได้

การเปรียบเทียบพรอมต์มักถูกอธิบายราวกับว่านักวิจัยเพียงเขียนประโยคเดิมใหม่ ความจริงแล้วสิ่งที่เปลี่ยนมีมากกว่านั้น การแทนคำว่า “คลินิก” ด้วย “โรงพยาบาล” เปลี่ยนขอบเขตของหมวดหมู่ การเติมคำว่า “ใกล้” เพิ่มเงื่อนไขทางภูมิศาสตร์ การขอคำแนะนำเปิดทางให้มีการประเมินค่า ขณะที่การถามหาที่อยู่เป็นการขอให้ระบุเอนทิตี พรอมต์สำหรับเปรียบเทียบอาจกระตุ้นให้ระบบรวบรวมตัวเลือกที่ไม่มีทางปรากฏในการค้นหาตรง ๆ

ห้องปฏิบัติการถือว่าถ้อยคำในพรอมต์เป็นส่วนหนึ่งของเงื่อนไขข้อสังเกต เพราะถ้อยคำช่วยกำหนดว่าเอนทิตีและแหล่งข้อมูลใดมีแนวโน้มจะเข้าสู่คำตอบ

นี่ไม่ได้หมายความว่าผลลัพธ์ทุกอย่างที่เปลี่ยนไปเกิดจากคำเพียงคำเดียวที่ถูกเปลี่ยน ระบบสร้างคำตอบมีความแปรผันระหว่างการรัน และขั้นตอนการดึงข้อมูลภายในไม่ได้มองเห็นได้ทั้งหมด การเปรียบเทียบพรอมต์ที่ควบคุมเงื่อนไขให้ใกล้เคียงกันรองรับข้อสรุปที่แคบกว่า กล่าวคือ เมื่อทีมรักษาเงื่อนไขอื่นไว้และเปลี่ยนองค์ประกอบที่กำหนดไว้ ทีมสามารถสังเกตได้ว่าการระบุเอนทิตี การอ้างอิงที่มองเห็นได้ หมวดหมู่ สถานที่ หรือเส้นทางการดึงข้อมูลที่อนุมานได้เปลี่ยนไปพร้อมกันหรือไม่

กระบวนการนี้ทำงานได้ดีที่สุดเมื่อความแตกต่างมีขนาดเล็กพอให้ตรวจสอบ หากพรอมต์หนึ่งถามหาคลินิกในกรุงเทพฯ แต่อีกพรอมต์ถามเรื่องการท่องเที่ยวเชิงการแพทย์ระดับหรูทั่วประเทศไทย ความแตกต่างของผลลัพธ์ย่อมไม่น่าแปลกใจและยากต่อการระบุที่มา คู่เปรียบเทียบที่มีประโยชน์กว่าคือการคงบริการ เขต ภาษา และรูปแบบคำขอไว้เหมือนเดิม แล้วเปลี่ยนเพียง “คลินิก” เป็น “โรงพยาบาล” ถึงอย่างนั้น ห้องปฏิบัติการก็ยังอธิบายเพียงความสัมพันธ์ที่พบ ไม่ใช่เหตุเชิงกลไกที่ซ่อนอยู่

พรอมต์ที่ใช้จริงจะถูกเก็บรักษาไว้อย่างครบถ้วน เช่นเดียวกับเครื่องหมายวรรคตอน การถอดเสียง ภาษา สถานที่ที่ระบุ ภารกิจที่ร้องขอ บริบทของโมเดล วันที่สังเกตการณ์ และการอ้างอิงที่มองเห็นได้ การเขียนพรอมต์ใหม่แบบสรุปความในบันทึกวิจัยอาจอ่านง่ายกว่า แต่ก็จะลบสิ่งที่กำลังถูกตรวจสอบออกไปด้วย

ภาษาที่ใช้บอกบริการอาจดึงเอนทิตีเข้าสู่หมวดหมู่ที่กว้างขึ้น

ในสถานการณ์ตัวอย่างของคลินิก การใช้คำบอกบริการที่แคบให้ผลเป็นผู้ให้บริการอิสระ พร้อมเว็บไซต์ โปรไฟล์แผนที่ และหน้าข้อมูลการรักษาของคลินิก เมื่อพรอมต์เปลี่ยนไปใช้หมวดหมู่ทางการแพทย์ที่กว้างขึ้น ชุดแหล่งข้อมูลที่มองเห็นได้ก็เปลี่ยน ไดเรกทอรีที่ใช้ป้ายกำกับจากแพลตฟอร์มอาจเด่นขึ้น หรือสถานพยาบาลขนาดใหญ่กว่าที่มีชื่อคล้ายกันอาจปรากฏอยู่ในหน้าที่ใช้ประกอบคำตอบ

สิ่งที่ชวนให้สรุปได้ง่ายคือการกล่าวว่าโมเดล “เข้าใจธุรกิจผิด” แต่หลักฐานมักยังไม่พอให้สรุปเช่นนั้น คำตอบอาจเลือกเอนทิตีผิด เลือกเอนทิตีถูกแต่ขยายหมวดหมู่เกินหลักฐาน หรือผสมคุณลักษณะของทั้งสองเอนทิตีเข้าด้วยกัน สิ่งเหล่านี้เป็นความล้มเหลวคนละแบบ

ถ้อยคำในพรอมต์ช่วยแยกความล้มเหลวเหล่านี้ออกจากกัน หากคลินิกยังคงถูกระบุอย่างถูกต้องในพรอมต์ที่เปลี่ยนหมวดหมู่ แต่ป้ายกำกับขยายจากคลินิกเป็นโรงพยาบาล ปัญหาอาจอยู่ที่การกำหนดคุณลักษณะหรือถ้อยคำสุดท้าย หากที่อยู่ ความเป็นเจ้าของ และข้ออ้างเรื่องบริการเคลื่อนไปทางสถานพยาบาลขนาดใหญ่ด้วย การระบุเอนทิตีก็น่าจะเปลี่ยนไป คำว่า “น่าจะ” มีความสำคัญ เพราะเส้นทางการดึงข้อมูลที่อนุมานได้ยังคงเป็นข้อสรุปจากบันทึกที่เก็บรักษาไว้

คำบอกบริการสามารถทำงานคล้ายแม่เหล็ก คำอย่าง “โรงพยาบาล” “โรงเรียน” “รีสอร์ต” หรือ “เอเจนซี” อาจเกิดร่วมกับคำตอบที่ให้ความสำคัญแก่เอนทิตีซึ่งถูกจัดหมวดหมู่เช่นนั้นอยู่แล้วในไดเรกทอรีและระบบแผนที่ ส่วนคำที่แคบกว่าอาจเกิดร่วมกับหน้าของธุรกิจเอง พรอมต์ไม่ได้พิสูจน์ว่าเหตุใดแหล่งข้อมูลหนึ่งจึงปรากฏ แต่เปลี่ยนเงื่อนไขของคำขอซึ่งทำให้เกิดชุดแหล่งข้อมูลที่สังเกตได้

เรื่องนี้มีผลอย่างยิ่งในประเทศไทย ที่ซึ่งธุรกิจท้องถิ่นอาจถูกอธิบายผ่านหมวดหมู่ภาษาไทย คำภาษาอังกฤษหลายแบบ และป้ายกำกับจากแพลตฟอร์มที่สอดคล้องกันเพียงคร่าว ๆ วลีภาษาไทยอาจรักษาความแตกต่างที่หมวดหมู่ภาษาอังกฤษทำให้หายไป ในทางกลับกัน ศัพท์เฉพาะทางภาษาอังกฤษบางคำอาจแม่นยำกว่าหมวดหมู่ที่ใช้ในรายการข้อมูลท้องถิ่น

ห้องปฏิบัติการไม่ตั้งสมมติฐานว่าภาษาใดเหนือกว่า แต่บันทึกว่าแต่ละรูปแบบดึงข้อมูลอะไรกลับมา

ถ้อยคำเกี่ยวกับสถานที่อาจแยกหรือรวมสาขา

กรณีศึกษา B ให้สถานการณ์ตัวอย่างกรณีที่สอง นั่นคือกลุ่มร้านอาหารที่มีสาขาในกรุงเทพฯ และจังหวัดข้างเคียง แผนที่ ไดเรกทอรี เพจโซเชียล และแพลตฟอร์มจองใช้ป้ายกำกับสาขาไม่สอดคล้องกัน นอกจากนี้ยังมีสถานที่อีกแห่งที่ชื่อคล้ายกันและอยู่ในหมวดหมู่การค้นหาเดียวกัน

พรอมต์ตรง ๆ ที่ใช้ชื่อเต็มของสาขากรุงเทพฯ อาจดึงระเบียนแผนที่ที่ถูกต้อง เมื่อลบป้ายกำกับสาขาออกแล้วถามหา “ร้านอาหารใกล้กรุงเทพฯ” จังหวัดข้างเคียงก็อาจเข้ามาอยู่ในชุดคำตอบ หากเปลี่ยนชื่อสถานที่เป็นเขต จุดสังเกต หรือคำว่า “ใกล้สนามบิน” คำตอบอาจจัดชุดตัวเลือกใหม่อีกครั้ง

ภูมิศาสตร์ที่ผู้คนใช้จริงแทบไม่เคยแบ่งเป็นช่องอย่างเรียบร้อย คนในพื้นที่อาจใช้ชื่อเมืองอย่างกว้าง ๆ รวมถึงบริเวณรอบนอก แพลตฟอร์มจองอาจแสดงชื่อจังหวัด ขณะที่เพจโซเชียลเลือกใช้ชื่อเขตที่คุ้นเคยหรือชื่อพื้นที่ท่องเที่ยว สาขาหนึ่งจึงอาจดูสมเหตุสมผลในเชิงภูมิศาสตร์ภายใต้คำอธิบายหลายแบบ แม้จะมีเพียงแบบเดียวที่ตรงกับที่อยู่อย่างเป็นทางการ

ในรูปแบบหนึ่งที่พบได้ คำตอบระบุกลุ่มธุรกิจถูกต้อง แต่อ้างหน้าสาขาจากจังหวัดข้างเคียง ในอีกรูปแบบหนึ่ง คำตอบเลือกรายการกรุงเทพฯ แต่ยืมสถานะการเปิดให้บริการของสถานที่ชื่อคล้ายกัน พรอมต์ที่สามซึ่งใช้จุดสังเกตอาจคืนสาขาที่ถูกต้อง แล้วกล่าวว่าสาขานั้นอยู่ในเขตที่ผิด ข้อผิดพลาดเล็ก ๆ เรื่องเขตมีประโยชน์ เพราะแสดงให้เห็นว่าการดึงข้อมูลกับถ้อยคำทางภูมิศาสตร์อาจแยกออกจากกัน แม้ดูเหมือนว่าเอนทิตีจะถูกระบุเรียบร้อยแล้ว

ห้องปฏิบัติการเปรียบเทียบพรอมต์เหล่านี้ในฐานะสถานการณ์การค้นหาที่ต่างกัน “สาขานี้อยู่ที่ไหน” ทดสอบการระบุเอนทิตีและสถานที่ “สาขาไหนใกล้ที่สุด” เพิ่มภารกิจเปรียบเทียบ ส่วน “แนะนำร้านอาหารใกล้สถานที่นี้” เชิญให้ระบบตัดสินความเหมาะสมควบคู่กับระยะทาง ถ้อยคำเปลี่ยนภารกิจ และภารกิจก็เปลี่ยนชนิดของหลักฐานที่คำตอบต้องใช้

แหล่งข้อมูลที่สนับสนุนที่อยู่โดยตรงอาจไม่ได้กล่าวอะไรเกี่ยวกับความใกล้ หน้าสาขาอาจยืนยันเอนทิตี แต่ไม่สนับสนุนข้ออ้างว่าสถานที่นั้นเดินทางสะดวกจากจุดสังเกตที่ระบุ ถ้อยคำในพรอมต์จึงเปลี่ยนภาระที่แหล่งข้อมูลต้องรองรับได้ แม้จะปรากฏหน้าเดิมก็ตาม

พรอมต์ที่ขอคำแนะนำเพิ่มข้ออ้างเข้ามา

ภาษาที่ใช้ขอคำแนะนำทำให้เกิดการคลาดเคลื่อนได้ง่ายเป็นพิเศษ เพราะมันขอให้ระบบทำมากกว่าการระบุเอนทิตี คำอย่าง “ดีที่สุด” “ยอดนิยม” “เหมาะกับครอบครัว” หรือ “คุ้มค่าแก่การไป” เปิดทางให้เกิดข้อความเชิงประเมิน แหล่งข้อมูลที่มองเห็นได้อาจรองรับชื่อธุรกิจ หมวดหมู่ และสถานที่ แต่แทบไม่รองรับคำตัดสิน

แบบจำแนกความสัมพันธ์ระหว่างข้ออ้างกับแหล่งข้อมูล 4 แบบทำให้การขยายตัวนี้มองเห็นได้ การสนับสนุนโดยตรงเกิดขึ้นเมื่อแหล่งข้อมูลสนับสนุนข้ออ้างตามที่กล่าวไว้ การสนับสนุนแบบยืดขยายเกิดขึ้นเมื่อหน้าหนึ่งยืนยันได้เพียงข้อเท็จจริงที่แคบกว่า แต่คำตอบเปลี่ยนให้กลายเป็นคำแนะนำที่กว้างขึ้น การยืมอัตลักษณ์เกิดขึ้นเมื่อคำชม ชื่อเสียง สถานที่ หรือรายละเอียดบริการของเอนทิตีหนึ่งข้ามไปยังธุรกิจที่ถูกเลือก ส่วนการปรากฏโดยไร้หลักฐานหมายถึงข้ออ้างที่ไม่มีแหล่งข้อมูลใดซึ่งมองเห็นได้ในข้อสังเกตนั้นให้การสนับสนุน

ลองพิจารณากลุ่มร้านอาหาร แพลตฟอร์มจองอาจแสดงว่าสาขาหนึ่งรับจองโต๊ะและให้บริการอาหารประเภทหนึ่ง แต่การเรียกร้านนั้นว่า “หนึ่งในร้านอาหารสำหรับครอบครัวที่ได้รับความนิยมมากที่สุดใกล้กรุงเทพฯ” เรียกร้องให้แหล่งข้อมูลรองรับข้ออ้างเพิ่มอีกหลายข้อ ความเหมาะสมสำหรับครอบครัวอาจถูกอนุมานจากภาพถ่าย ความนิยมอาจไม่มีแหล่งที่มองเห็นได้เลย และคำว่า “ใกล้กรุงเทพฯ” อาจใช้ภูมิศาสตร์อย่างหลวม ๆ การอ้างอิงดูเกี่ยวข้องเพราะระบุสถานที่ได้ แต่ถูกนำไปใช้รองรับส่วนอื่นของประโยคเกินกว่าที่แหล่งข้อมูลกล่าวไว้

พรอมต์เปรียบเทียบอาจสร้างปัญหาอีกแบบหนึ่ง เมื่อถูกขอให้เปรียบเทียบสถานที่สองแห่ง ระบบอาจนำหมวดหมู่หรือวลีเรื่องชื่อเสียงจากแห่งหนึ่งไปวางไว้ข้างอีกแห่ง ข้อผิดพลาดนี้มองข้ามได้ง่ายกว่า เพราะทั้งสองธุรกิจควรอยู่ในคำตอบอยู่แล้ว ความใกล้กันบนหน้าเดียวกันกลายเป็นช่องทางให้เกิดการยืมอัตลักษณ์

ด้วยเหตุนี้ ห้องปฏิบัติการจึงไม่ประเมินการอ้างอิงแบบเหมารวมทั้งคำตอบ แต่แยกข้ออ้างแต่ละข้อแล้วตรวจสอบกับข้อมูลที่มองเห็นได้ การเปลี่ยนพรอมต์จากการค้นหาตรงไปเป็นการขอคำแนะนำมักเพิ่มทั้งจำนวนและความหลากหลายของข้ออ้าง แม้เอนทิตีที่ระบุชื่อจะยังเป็นแห่งเดิม

เรื่องนี้มีผลในทางปฏิบัติต่อการตรวจสอบการปรากฏในคำตอบ ธุรกิจหนึ่งอาจดูถูกนำเสนออย่างถูกต้องภายใต้การค้นหาด้วยชื่อแบรนด์ แต่กลับไม่เสถียรภายใต้การขอคำแนะนำตามบริการ พรอมต์แบบที่สองไม่ใช่เพียงคำถามแบบแรกที่ให้ผลไม่นิ่งกว่า แต่เป็นการขอให้ระบบสร้างคำตอบคนละชนิดจากชุดหลักฐานที่กว้างกว่าและต้องรองรับข้ออ้างมากกว่า

ติดตามเส้นทางที่อนุมานได้โดยไม่แต่งเกินหลักฐาน

เส้นทางการดึงข้อมูลคือการสร้างภาพย้อนจากหน้าเว็บ รายการข้อมูล การตีความคำค้น และความสัมพันธ์ระหว่างข้ออ้างกับแหล่งข้อมูลที่อาจนำทางคำตอบ เส้นทางนี้ตั้งอยู่บนหลักฐานที่มองเห็นได้ เพราะไม่สามารถเข้าถึงกระบวนการภายในทั้งหมดของระบบ

การเปรียบเทียบพรอมต์ช่วยเพิ่มน้ำหนักให้การสร้างภาพย้อนนี้ได้ หากคำบอกหมวดหมู่เปลี่ยน แล้วแหล่งข้อมูลไดเรกทอรีใหม่ปรากฏข้างป้ายกำกับธุรกิจที่กว้างขึ้น ข้อสังเกตทั้งสองก็สอดคล้องกับคำอธิบายหนึ่งที่เป็นไปได้ หากตัดคำระบุสาขาออก แล้วคำตอบเริ่มอ้างหน้าระดับกลุ่ม การเปลี่ยนแปลงนั้นอาจช่วยอธิบายว่าเหตุใดรายละเอียดสถานที่จึงเริ่มปะปนกัน

ถึงอย่างนั้น ห้องปฏิบัติการหลีกเลี่ยงการเปลี่ยนลำดับเหตุการณ์ให้เป็นข้อพิสูจน์ พรอมต์ที่เปลี่ยนและแหล่งข้อมูลที่เปลี่ยนอาจเกิดขึ้นพร้อมกัน โดยไม่ได้หมายความว่าสิ่งหนึ่งทำให้เกิดอีกสิ่งหนึ่งโดยตรง แหล่งข้อมูลที่ไม่เปิดเผยอาจมีอิทธิพลต่อทั้งสองคำตอบ ความแปรผันตามปกติระหว่างการรันก็อาจอธิบายความแตกต่างบางส่วนได้

ด้วยเหตุนี้ การเปรียบเทียบที่ควบคุมเงื่อนไขให้ตรงกันจึงต้องทำซ้ำ ไม่ได้อ่านผลเพียงครั้งเดียว ทีมมองหาความสัมพันธ์ที่กลับมาอีกในหลายการรัน หลายโมเดล หลายภาษา และหลายช่วงเวลาที่เก็บข้อสังเกตตามความเหมาะสม รูปแบบที่เกิดซ้ำให้ข้อมูลมากขึ้น แต่ยังคงถูกจำกัดด้วยเงื่อนไขที่เก็บรักษาไว้

การเปรียบเทียบข้ามภาษาต้องใช้ความระมัดระวังเป็นพิเศษ พรอมต์ภาษาไทยและภาษาอังกฤษอาจแสดงเจตนาโดยรวมเดียวกัน แต่ต่างกันในความแม่นยำของหมวดหมู่ ลำดับชั้นของสถานที่ ระดับความสุภาพ หรือกลุ่มผู้ฟังที่แฝงอยู่ การแปลตรงตัวอาจสร้างคำถามที่ไม่เป็นธรรมชาติและไม่มีผู้ใช้ทั่วไปถามจริง ห้องปฏิบัติการบันทึกรูปแบบเหล่านี้ในฐานะเจตนาการค้นหาที่เทียบเคียงกัน ไม่ใช่ข้อความที่เทียบเท่ากันทุกประการ

บางครั้งผลลัพธ์ที่มีประโยชน์ที่สุดคือการไม่พบเส้นทางที่เสถียร รูปแบบคำถามหนึ่งอาจสลับไปมาระหว่างสองเอนทิตี ส่วนอีกแบบหนึ่งคืนสาขาเดียวอย่างสม่ำเสมอ แต่เปลี่ยนการอ้างอิงไปเรื่อย ๆ ความไม่สมมาตรนี้บ่งชี้ถึงความไม่เสถียรคนละชนิด ไม่จำเป็นต้องฝืนจัดให้เป็นเรื่องราวเดียวที่เรียบร้อย

ข้อจำกัดของการเปรียบเทียบพรอมต์

วิธีนี้ไม่สามารถเปิดเผยโครงสร้างพื้นฐานการดึงข้อมูลภายใน ตรรกะการจัดอันดับที่ซ่อนอยู่ ขั้นตอนกลางที่ไม่เปิดเผย หรือทุกแหล่งที่โมเดลใช้ภายใน การอ้างอิงที่มองเห็นได้อาจเป็นเพียงส่วนหนึ่งของข้อมูลที่หล่อหลอมผลลัพธ์ ดังนั้นเส้นทางการดึงข้อมูลที่ปรากฏจากหลักฐานจึงยังคงเป็นการอนุมาน

คู่พรอมต์จำนวนเล็กน้อยไม่สามารถสร้างกฎสากลเกี่ยวกับคำอย่าง “ดีที่สุด” “ใกล้” หรือ “โรงพยาบาล” ผลของคำเหล่านี้ขึ้นอยู่กับเอนทิตี ภาษา ภูมิศาสตร์ สภาพแวดล้อมของแหล่งข้อมูลสาธารณะ และบริบทของโมเดล ห้องปฏิบัติการรายงานสิ่งที่เปลี่ยนภายใต้เงื่อนไขที่บันทึกไว้ และหลีกเลี่ยงการเปลี่ยนข้อสังเกตเหล่านั้นให้เป็นเปอร์เซ็นต์หรือเกณฑ์ทั่วไป

ข้อมูลสาธารณะอาจเปลี่ยนระหว่างการรัน หมวดหมู่ในแผนที่อาจได้รับการแก้ไข หน้าสาขาอาจถูกเขียนใหม่ หรือรายการไดเรกทอรีเก่าอาจถูกลบ เมื่อการเปรียบเทียบพรอมต์เกิดขึ้นคนละวันที่สังเกตการณ์ การเปลี่ยนแปลงเหล่านี้อาจทำให้การตีความซับซ้อนขึ้น บันทึกการวิจัยจึงเก็บวันที่และสถานะของแหล่งข้อมูลที่มองเห็นได้ไว้เท่าที่ทำได้

พรอมต์เองก็อาจมีข้อผิดพลาด การถามหาธุรกิจในจังหวัดที่ผิดอาจทำให้ระบบปรับคำตอบตามสมมติฐานของคำถาม แทนที่จะโต้แย้งสมมติฐานนั้น พฤติกรรมดังกล่าวควรได้รับการศึกษา แต่แตกต่างจากความผิดพลาดด้านสถานที่ที่เกิดขึ้นโดยไม่มีการชี้นำ ห้องปฏิบัติการจะทำเครื่องหมายสมมติฐานผิดในคำถามไว้ แทนที่จะรวมเข้ากับหมวดหมู่เดียวกัน

ประการสำคัญที่สุด ไม่ควรเข้าใจผลของถ้อยคำว่าเป็นการควบคุมระบบอย่างสมบูรณ์ พรอมต์ที่เขียนอย่างระมัดระวังอาจลดความกำกวมในข้อสังเกตหนึ่ง แต่ล้มเหลวในการรันครั้งถัดไป คุณค่าทางการวิจัยอยู่ที่การระบุว่ารูปแบบคำถามใดเปิดเผยหรือกดทับปัญหาเอนทิตีและแหล่งข้อมูลที่เกิดซ้ำ

ธุรกิจไม่ได้มีอัตลักษณ์ที่ระบบสร้างขึ้นเพียงแบบเดียวและคงที่รอให้ถูกดึงออกมา อัตลักษณ์ที่ปรากฏถูกประกอบขึ้นภายใต้เงื่อนไขต่าง ๆ และถ้อยคำของคำถามคือหนึ่งในเงื่อนไขเหล่านั้น เมื่อเปลี่ยนคำถามเพียงเล็กน้อย ชิ้นส่วนข้อมูลสาธารณะอีกชุดหนึ่งก็อาจกลายเป็นสิ่งที่คำตอบหยิบมาเชื่อมเข้าด้วยกัน