Multimodal Prompting: เขียน Prompt ให้ AI อ่านภาพ ไฟล์ และเสียงอย่างตรวจสอบได้

เมื่อแนบภาพหรือไฟล์ให้ AI คำสั่งว่า “ช่วยดูให้หน่อย” ยังไม่บอกว่าต้องดูตรงไหนและผลลัพธ์จะนำไปใช้ทำอะไร Multimodal Prompting คือการออกแบบคำสั่งให้ AI ทำงานกับข้อมูลหลายรูปแบบ โดยกำหนดเป้าหมาย ขอบเขต และวิธีรายงานความไม่แน่นอนให้ชัดเจน

Multimodal Prompting คืออะไร

คือการเขียน Prompt สำหรับอินพุตที่ไม่ได้มีแค่ข้อความ เช่น ภาพสินค้า สกรีนช็อต PDF ตาราง เสียง หรือวิดีโอ หลักการพื้นฐานยังเหมือนการเขียน Prompt ทั่วไป ได้แก่ เป้าหมาย บริบท และรูปแบบคำตอบ แต่ต้องเพิ่ม “จุดที่ให้ตรวจ” และ “สิ่งที่ห้ามสรุปเกินหลักฐาน”

ผลลัพธ์จึงควรเป็นตัวช่วยคัดกรองหรือสกัดข้อมูล ไม่ใช่การรับรองว่าข้อมูลในไฟล์ถูกต้อง โดยเฉพาะเอกสารการเงิน กฎหมาย สุขภาพ หรือข้อมูลลูกค้า

โครงสร้าง Prompt 5 ส่วนที่ใช้ซ้ำได้

1. อินพุต: ระบุว่าแนบภาพ เอกสาร ตาราง หรือเสียงอะไร
2. เป้าหมาย: ต้องการสรุป สกัด เปรียบเทียบ หรือตรวจความครบถ้วน
3. จุดตรวจ: ระบุหน้า แถว คอลัมน์ พื้นที่ในภาพ หรือช่วงเวลา
4. รูปแบบคำตอบ: กำหนดตาราง รายการ หรือฟิลด์ที่ต้องการ
5. ขอบเขต: ให้แยกสิ่งที่เห็นจริงออกจากการตีความ และให้บอกเมื่อข้อมูลอ่านไม่ชัด

Template สำหรับวิเคราะห์ภาพหรือสกรีนช็อต

คัดลอก Template นี้แล้วแทนค่าที่อยู่ในวงเล็บเหลี่ยม:

คุณกำลังช่วยตรวจ [ประเภทภาพ] สำหรับ [วัตถุประสงค์]
ตรวจตามลำดับ:
1. อธิบายเฉพาะสิ่งที่มองเห็นได้
2. ตรวจ [รายการ/พื้นที่สำคัญ] ว่ามีหรือไม่
3. แยกข้อเท็จจริงออกจากข้อเสนอแนะ
4. ทำตาราง: จุดตรวจ | สิ่งที่พบ | หลักฐานในภาพ | ความมั่นใจ
5. ถ้าข้อความเล็ก ถูกตัด หรืออ่านไม่ได้ ให้ระบุจุดนั้นและอย่าเดา

ตัวอย่างสำหรับ SME ที่ตรวจหน้าสินค้า: ให้ระบุชื่อสินค้า ราคา ปุ่มสั่งซื้อ และข้อความโปรโมชันที่อ่านได้ แล้วขอข้อเสนอแนะด้านความอ่านง่ายแยกจากข้อเท็จจริง วิธีนี้ช่วยให้เจ้าของร้านเห็นว่า AI อ้างอิงจากส่วนใดของภาพ

Template สำหรับ PDF ตาราง และเสียง

• PDF: ระบุหน้าและหัวข้อ เช่น “อ่านหน้า 2–4 เฉพาะตารางเงื่อนไขการชำระเงิน”
• ตาราง: ระบุคอลัมน์ที่ต้องสกัด และให้คงหน่วยหรือรูปแบบวันที่เดิม
• เสียง: ระบุช่วงเวลา ผู้พูดที่ต้องการ และให้ทำเครื่องหมายคำที่ฟังไม่ชัด
• ทุกชนิดไฟล์: ขอให้รายงานข้อมูลที่ขาดหายหรือรูปแบบที่อ่านไม่ได้ แทนการเติมคำตอบเอง

ถ้าต้องการผลลัพธ์เป็นรูปแบบเดียวกันทุกครั้ง ให้เพิ่มตัวอย่างอินพุตและเอาต์พุตจากงานจริงด้วยแนวทาง Few-shot Prompting และกำหนดบทบาทหรือมาตรฐานด้วย Role Prompting

Workflow 4 ขั้นก่อนนำผลไปใช้จริง

1. เตรียมไฟล์: ตรวจว่าเป็นไฟล์เวอร์ชันล่าสุด อ่านได้ และไม่มีข้อมูลที่ไม่จำเป็น
2. สั่งงานเป็นช่วง: เริ่มจากให้ AI บอกสิ่งที่พบ ก่อนขอให้สรุปหรือแนะนำ
3. เทียบต้นฉบับ: สุ่มตรวจข้อความ ตัวเลข ชื่อ และวันที่กับไฟล์จริง
4. ให้คนอนุมัติ: เจ้าของงานตัดสินใจก่อนส่งต่อให้ลูกค้า บันทึกบัญชี หรือเผยแพร่

ตัวอย่างร้านค้าออนไลน์อาจให้ AI อ่านสกรีนช็อตแคมเปญเพื่อเช็กว่าราคาและปุ่มสั่งซื้อแสดงครบหรือไม่ แต่คนยังต้องเปิดหน้าจริง ตรวจลิงก์ และยืนยันราคาก่อนเผยแพร่

ข้อจำกัดและ Human Review

ภาพอาจมีตัวอักษรเล็ก แสงสะท้อน หรือส่วนสำคัญถูกครอบตัด PDF อาจเป็นภาพสแกนที่ค้นข้อความไม่ได้ และเสียงอาจมีสำเนียงหรือผู้พูดทับกัน ดังนั้นคำตอบที่ดูมั่นใจไม่ได้แปลว่าถูกต้อง ให้เก็บไฟล์ต้นฉบับไว้ ตรวจข้อมูลสำคัญกับแหล่งจริง และอย่าอัปโหลดข้อมูลลับเกินความจำเป็น

เริ่มจาก วิธีเขียน Prompt แล้วใช้ System และ Context Prompting เพื่อแยกกติกาถาวรออกจากบริบทของไฟล์ สำหรับผู้ที่ต้องการฝึกสร้าง Prompt และนำไปใช้กับงานคอนเทนต์ สามารถดู คอร์ส ChatGPT Mastery เป็นข้อเสนอหลักได้