Managing Data หนึ่งในความท้าทาย ที่ยากกว่าสำหรับ การสร้างแบบจำลอง คือการตัดสินใจว่า (หรือถ้า) จะจัดการ กับจุดข้อมูล ที่รุนแรงได้อย่างไร เป็นปัญหาทั่วไป ในตัวเลขทางเศรษฐ กิจและการเงิน
การแจกแจงแบบ Fat tailเป็นค่าโดยสาร มาตรฐานในการคืนทุน ของตลาดหุ้น เป็นต้น ในขณะ เดียวกัน การล่มสลาย ครั้งใหญ่ของเศรษฐกิจ ในช่วงการระบาดใหญ่ ในปีที่แล้ว
Managing Data เป็นการเตือนว่าค่าผิดปกติ ปรากฏขึ้นในการวิเคราะห์ ระดับมหภาคด้วย
นั่นนำไปสู่คำถาม: จะทำอย่างไร? มีคำตอบมากมาย ซึ่งแตกต่างกัน ไปตามชุดข้อมูล และเป้าหมายการวิเคราะห์ บ่อยครั้งที่ปัญหา เกิดขึ้นในการวิเคราะห์การถดถอย
ซึ่งเป็นรากฐานสำหรับแอปพลิเคชัน การสร้างแบบ จำลองจำนวนมาก ทางออกหนึ่ง คือการทิ้งการถดถอยเชิง เส้นมาตรฐาน และแทนที่ด้วย การถดถอยเชิงควอนไทล์ ซึ่งมีความเสี่ยงน้อยกว่า ต่อจุดข้อมูลที่รุนแรง
อะไรคือความแตกต่าง ในการถดถอยเหล่านี้? การถดถอยเชิงเส้น (LR) จะใช้วิธีการกำลังสอง น้อยที่สุดในการคำนวณ ค่าเฉลี่ยตามเงื่อนไข เพื่อสร้างแบบจำลอง ข้อมูลโดยไม่ต้องลงลึก ถึงรูกระต่ายมากเกินไป
การถดถอยควอนไทล์ (QR) จะประมาณค่า มัธยฐานตามเงื่อนไข (หรือควอนไทล์อื่นๆ หรือควอนไทล์ที่คุณเลือก) ซึ่งทำให้ QR ได้เปรียบเหนือ LR หลายประการ ซึ่งรวมถึงระดับความเสถียร ที่สูงขึ้นเมื่อเผชิญ กับค่าผิดปกติ
ตัวอย่างง่ายๆ ให้พิจารณา ชุดตัวเลข สองชุด – ข้อมูล A และ Data B ซึ่งเป็น ชุดข้อมูลที่มี พฤติกรรมค่อนข้างดี ดังนั้นจึงมีความสัมพันธ์ที่ค่อนข้างชัดเจนและแน่นแฟ้น ด้วยเหตุนี้
การรันการถดถอยเชิง เส้นและการถดถอยเชิง ควอนไทล์ ให้ผลลัพธ์ที่ คล้ายคลึงกัน (หมายเหตุ: โมเดล QR ใช้ควอนไทล์มัธยฐานในตัวอย่างนี้)
แต่เป็นอีกเรื่องหนึ่งเมื่อเราเพิ่มจุดข้อมูลนอกรีต ซึ่งแสดงเป็นสีแดงในแผนภูมิถัดไปด้านล่าง การเรียกใช้การถดถอยอีกครั้งซึ่งรวมถึงค่าผิดปกติแสดงให้เห็นว่าผลลัพธ์ของ LR เปลี่ยนไปอย่างมาก
โดยระบุด้วยเส้นประสีเขียว (LR ที่มีข้อมูลผิดปกติ) เทียบกับเส้นสีเขียวทึบ (LR ที่ไม่มีข้อมูลผิดปกติ) โดยการเปรียบเทียบ การถดถอยเชิงควอนไทล์ทั้งสองนั้นไม่เปลี่ยนแปลงโดยพื้นฐานแล้ว
ซึ่งบ่งชี้ว่าค่าผิดปกติมีผลกระทบต่อผลลัพธ์เพียงเล็กน้อย (ใช่ เส้นการถดถอย QR สองเส้นนั้นมองเห็นได้ยากเพราะว่ามันเหมือนกันมาก)
o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o
o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o
