โมเดลหนึ่งในการพิจารณาการเลือกปฏิบัติของอัลกอริทึม แบ่งการพิจารณาออกเป็นส่วนๆ ดังนี้
(2) นี่มันอาจจะเป็นเหมือนกล่องดำ คือไม่สามารถบอกได้ชัดๆ ว่าเครื่องมันตัดสินใจอย่างไร การจะไปประเมินไปตรวจสอบก็ทำลำบาก

ที่ง่ายกว่าก็คือมาดูที่ (1) กับ (3) ถ้ามีข้อมูลอะไรที่ไม่ควรใช้ก็ไม่ให้มันวิ่งเข้าไปในระบบเลยตั้งแต่แรก กับไปดูว่าผลลัพธ์สุดท้ายมันโอเคหรือไม่ โดยทั้งหมดนี้ ให้พิจารณา (4) ซึ่งเป็นบริบทแวดล้อมด้วย

แต่โมเดลนี้ก็ไม่ชัดเจนว่า ใครเป็นผู้จัดหาข้อมูลเข้าดังกล่าว คือตัวโมเดลมันเหมือนกับว่า การตัดสินใจของเครื่องมันอยู่เฉพาะที่ (2)

เป็นไปได้ไหมว่า ปัญญาประดิษฐ์มันสามารถตัดสินใจเกี่ยวกับข้อมูลเข้าได้ด้วย ว่าจะเลือกข้อมูลชนิดไหนเข้ามา ด้วยปริมาณเท่าไหร่

เช่นโจทย์ตั้งต้นอาจจะบอกว่าให้เพิ่มอัตราการคลิกปุ่ม ‘ซื้อ’ จากสื่อสังคม ตอนแรกๆ ก็อาจจะใช้ข้อมูลประชากรอะไรก็ว่าไปเท่าที่คนจัดหามาให้ แต่ต่อมาผู้พัฒนาอาจจะเพิ่มความสามารถให้ระบบมันไปหาข้อมูลเพิ่มเติมได้เองจากเน็ต เช่นระบบสร้างการทดลองขึ้นมาได้เอง ส่งข้อมูลเดียวกันไปคนต่างกลุ่มประชากร หรือข้อมูลต่างกันไปคนกลุ่มประชากรเดียวกัน เพื่อหาข้อมูลพฤติกรรมที่ตัวระบบอยากได้

พูดง่ายๆ ก็คือว่า คอมพิวเตอร์สามารถตัดสินใจสร้างการทดลองและ incentive ได้เอง เพื่อให้มนุษย์กลุ่มต่างๆ มาป้อนข้อมูลเพิ่มให้มัน (แน่นอนว่า incentive พวกนี้ มาจากทรัพยากรที่เจ้าของระบบจัดหาให้ แต่เจ้าของระบบไม่ได้เป็นผู้ตัดสินใจจัดหาข้อมูลเองโดยตรง)

ถ้าเป็นแบบนี้ การประเมิน “ข้อมูลเข้า” (1) อย่างเดียวก็จะไม่พอไหม ต้องประเมิน “การจัดหาข้อมูลเข้า” (0) ด้วยอีกที?

ก่อนหน้านี้มันเป็น คอมเล่มเกมกับคอมกันเอง เพื่อฝึกฝน
ต่อไปมันจะเป็น คอมสร้างเกมขึ้นมาให้คนเล่นตามเกมนั้น เพื่อฝึกฝน