วิธีการบีบอัดข้อมูลใหม่ช่วยลดปัญหาคอขวดข้อมูลขนาดใหญ่

วิธีการบีบอัดข้อมูลใหม่ช่วยลดปัญหาคอขวดข้อมูลขนาดใหญ่

Anonim

โดย Matthew Chin, มหาวิทยาลัยแห่งแคลิฟอร์เนีย, Los Angeles

(Phys.org) - ในการสร้างวิธีการใหม่ในการบีบอัดข้อมูลทีมนักวิจัยจาก UCLA Henry Samueli School of Engineering และวิทยาศาสตร์ประยุกต์ได้รับแรงบันดาลใจมาจากฟิสิกส์และศิลปะ ผลที่ได้คือวิธีการบีบอัดข้อมูลใหม่ที่มีประสิทธิภาพเหนือกว่าเทคนิคที่มีอยู่เช่น JPEG สำหรับรูปภาพและในที่สุดก็สามารถนำไปใช้สำหรับการใช้งานทางการแพทย์วิทยาศาสตร์และวิดีโอสตรีมมิ่ง

ในการสื่อสารข้อมูลการวิจัยทางวิทยาศาสตร์และการแพทย์จำนวนแอพพลิเคชั่นที่เพิ่มขึ้นในปัจจุบันจำเป็นต้องมีการรวบรวมและวิเคราะห์ข้อมูลจำนวนมหาศาลในแบบเรียลไทม์

แต่ "ข้อมูลขนาดใหญ่" เป็นที่รู้จักกันสามารถนำเสนอปัญหาใหญ่โดยเฉพาะอย่างยิ่งในสาขาเฉพาะที่เหตุการณ์ที่กำลังศึกษาเกิดขึ้นในอัตราที่เร็วเกินไปที่จะสุ่มตัวอย่างและแปลงเป็นข้อมูลดิจิตอลในเวลาจริง ตัวอย่างเช่นในการตรวจจับเซลล์มะเร็งที่หายากในเลือดนักวิจัยจะต้องคัดกรองเซลล์นับล้านในกระแสการไหลความเร็วสูง

เพื่อช่วยปรับปรุงกระบวนการกลุ่ม UCLA นำโดย Bahram Jalali เจ้าของเก้าอี้ Opto-Electronic Northrop Grumman ในสาขาวิศวกรรมไฟฟ้าและรวมถึง Mohammad Asghari นักวิจัยหลังปริญญาเอกได้สร้างวิธีการบีบอัดข้อมูลใหม่ทั้งหมด เทคนิคนี้จะเปลี่ยนรูปร่างของสัญญาณที่ส่งข้อมูลในรูปแบบที่คล้ายกับเทคนิคกราฟฟิคที่รู้จักกันในชื่อ Anamorphism ซึ่งถูกนำมาใช้ตั้งแต่ยุค 1500 เพื่อสร้างภาพลวงตาในงานศิลปะและต่อมาภาพยนตร์

กลุ่ม Jalali ค้นพบว่ามันเป็นไปได้ที่จะบรรลุการบีบอัดข้อมูลโดยการยืดและแปรปรวนข้อมูลในรูปแบบเฉพาะที่กำหนดโดยฟังก์ชั่นทางคณิตศาสตร์ที่พัฒนาขึ้นใหม่ เทคโนโลยีที่ขนานนามว่า "anamorphic stretch transform" หรือ AST นั้นทำงานทั้งในโดเมนแอนะล็อกและดิจิทัล ในแอพพลิเคชั่นแบบอะนาล็อก AST ช่วยให้ไม่เพียง แต่จับภาพและแปลงสัญญาณเป็นดิจิทัลที่เร็วกว่าความเร็วของเซ็นเซอร์และดิจิตัล แต่ยังช่วยลดปริมาณข้อมูลที่สร้างขึ้นในกระบวนการด้วย

AST ยังสามารถบีบอัดบันทึกดิจิตอล - ตัวอย่างเช่นข้อมูลทางการแพทย์เพื่อให้สามารถส่งผ่านทางอินเทอร์เน็ตเพื่อขอคำปรึกษาทางไกล การแปลงสัญญาณทำให้สัญญาณถูกเปลี่ยนรูปร่างเป็นลักษณะที่ "คมชัด" - คุณสมบัติที่กำหนดมากที่สุด - ถูกยืดออกมากกว่าคุณลักษณะ "หยาบ" ของข้อมูล

เทคนิคไม่จำเป็นต้องมีความรู้ก่อนของข้อมูลสำหรับการเปลี่ยนแปลงที่จะเกิดขึ้น; มันเกิดขึ้นเองตามธรรมชาติและในกระแสการสตรีม

“ การเปลี่ยนแปลงของเราทำให้เกิดการเลือกใช้คุณสมบัติการยืดข้อมูลและการจัดสรรพิกเซลมากขึ้นเพื่อให้คุณสมบัติที่คมชัดยิ่งขึ้นซึ่งเป็นที่ต้องการมากที่สุด” แอสการีกล่าว "ตัวอย่างเช่นถ้าเราใช้เทคนิคในการถ่ายภาพของเรือใบในมหาสมุทรการยืดแบบอะนามอร์ฟิคของเราจะทำให้คุณสมบัติของเรือใบยืดได้มากกว่ามหาสมุทรเพื่อระบุเรือขณะที่ใช้ไฟล์ขนาดเล็ก"

AST ยังสามารถใช้สำหรับการบีบอัดภาพเป็นอัลกอริทึมแบบสแตนด์อโลนหรือรวมกับเทคนิคการบีบอัดข้อมูลดิจิตอลที่มีอยู่เพื่อเพิ่มความเร็วหรือคุณภาพหรือเพื่อปรับปรุงจำนวนภาพที่สามารถบีบอัดได้ ผลลัพธ์ได้แสดงให้เห็นว่า AST สามารถทำได้ดีกว่ารูปแบบการบีบอัดภาพ JPEG มาตรฐานพร้อมการปรับปรุงอย่างมากในแง่ของคุณภาพของภาพและปัจจัยการบีบอัด

เทคนิคใหม่นี้มีต้นกำเนิดในเทคโนโลยีอื่นที่บุกเบิกโดยกลุ่ม Jalali การแปลงฟูริเยร์แบบกระจายเวลาซึ่งเป็นวิธีการชะลอความเร็วและขยายสัญญาณจาง ๆ แต่สัญญาณที่รวดเร็วมากจึงสามารถตรวจจับและแปลงเป็นดิจิทัลได้แบบเรียลไทม์

เครื่องมือความเร็วสูงที่สร้างขึ้นด้วยเทคโนโลยีนี้ทำให้สามารถค้นพบคลื่นแสงออปติคอลในปี 2550 และการตรวจจับเซลล์มะเร็งในเลือดด้วยความไวแบบหนึ่งในหนึ่งล้านในปี 2012 แต่เครื่องมือเหล่านี้ผลิตท่อดับเพลิงของข้อมูลที่ท่วมท้นแม้แต่ คอมพิวเตอร์ที่ทันสมัยที่สุด ความจำเป็นในการจัดการกับการโหลดข้อมูลดังกล่าวทำให้ทีม UCLA ค้นหาเทคโนโลยีการบีบอัดข้อมูลใหม่

Jalali กล่าวว่าการค้นพบนี้มีรากฐานมาจาก - และได้รับแรงบันดาลใจจาก - ทั้งฟิสิกส์และศิลปะ

“ การปรับแต่งข้อมูลใหม่โดยการยืดและห่อในลักษณะที่กำหนดจะบีบอัดข้อมูลโดยไม่สูญเสียข้อมูลที่เกี่ยวข้อง” เขากล่าว “ มันเลียนแบบสิ่งที่เกิดขึ้นกับคลื่นเมื่อพวกเขาเดินทางผ่านสื่อทางกายภาพที่มีคุณสมบัติเฉพาะนอกจากนี้มันยังนำเสนอแง่มุมของจิตใจของสถิตยศาสตร์และผลกระทบทางแสงของอะนามอร์ฟิซึม "

งานวิจัยนี้ตีพิมพ์ใน Applied Optics การประยุกต์ใช้ในการบีบอัดภาพดิจิตอลได้ถูกนำเสนอในเดือนนี้ในการประชุม IEEE Global Conference เกี่ยวกับการประมวลสัญญาณและข้อมูลและที่ IEEE International Symposium เกี่ยวกับการประมวลผลสัญญาณและเทคโนโลยีสารสนเทศซึ่งได้รับรางวัลกระดาษที่ดีที่สุดของการประชุม