קוואלקום הציגה בשבוע שעבר את פלטפורמת הדגל החדשה שלה, Snapdragon 8 Gen 2, שתחל לעשות דרכה למכשירי דגל כבר בסוף השנה הנוכחית (שיאומי) ותגיע לדגמים נוספים (סמסונג) במהלך הרבעון הראשון של 2023.
הפלטפורמה החדשה מציגה מגוון עדכונים ברמה הטכנית על פני הקודמת, אך אחד מהחלקים המעניינים ביותר נוגעים לצד התמונה ובקוואלקום הוסיפו מספר עדכונים מאחורי הקלעים שיאפשרו לנו לקבל תוצאות מרשימות בהרבה מתוך המצלמות הזמינות בטלפונים, וחלקים רבים מהפיתוחים בתחום נעשו במרכזי הפיתוח של החברה בישראל.
שיפור תמונה ברמת גבות ושפתיים
במפגש מצומצם שערכה היום קוואלקום בתל-אביב קיבלנו הצצה אל הטכנולוגיות שיגיעו למכשירים שישלבו את מערכת השבבים Snapdragon 8 Gen 2, כשהבולטות שבהן פותחו במרכזי הפיתוח של החברה בישראל.
בעוד שלרוב אנו בוחנים את הרכיבים הטכניים כמו הרכב המעבד, אפשרויות התמיכה בתצוגות ותמיכה במצלמות ברמה של עד 200 מגה-פיקסל, הפעם נכנסו מאחורי הקלעים כדי להבין איך מתקבלות התמונות כתוצאה הסופית שנראה על מסך הטלפון ומה מסתתר במעבד התמונה שפיתחה קוואלקום שיאפשר לנו לקבל הרבה מעבר למה שהיינו רגילים לקבל בטלפונים עד היום.
לפיתוח המעניין ביותר שלה שיגיע כחלק ממערכת השבבים Snapdragon 8 Gen 2 קוראת קוואלקום “Cognitive ISP” (מעבד תמונה קוגניטיבי).
מעבד זה משולב במערכת השבבים ומסוגל לתקשר עם מעבד התמונה (ISP) לשם יצירת סגמנטציה בזמן אמת שתוכל להפריד בין חלקים שונים בתמונה או בוידאו, ובדרך זאת להתאים את הבהירות, הצבעים, הניגודיות ועוד לחלק ספציפי המופיע בתמונה על מנת להציג כל חלק בתמונה הכללית או בוידאו המצולם בצורה מיטבית.
בקוואלקום מתייחסים לכל תמונה כסט של שכבות וכל שכבה מייצגת אלמנטים שונים שזקוקים להתייחסות מיוחדת. כך, למשל, אם נבחן אדם המופיע בתמונה, ניתן חלק אותו לסגמנטים הכוללים “עיניים”, “אף”, “גבות”, “שפתיים”, “שיער”, “עור הפנים” ועוד, זאת מלבד הרקע המקיף אותו בתמונה שנצלם.
פרט לאנשים, ניתן גם לבצע הפרדה לאלמנטים אחרים. כך למשל, הפרדה של סוודר מיתר האלמנטים בתמונה תאפשר להתאים את המרקם שלו עם שיפורים שיבוצעו בתמונה בעזרת המעבד הקוגניטיבי.
ההפרדה שמבצע מעבד הקוגניטיבי בין כל האלמנטים הללו מאפשרים למעבד התמונה להגדיר כל סט של פיקסלים המשויכים לשכבה בצורה מסוימת שתתאים בדיוק לחלק זה בפנים של האדם. שיער דורש התייחסות גבוהה לפרטים, בעיקר בקצוות, וזה רק אחד מתוך חלקים רבים המרכיבים את הפנים שלנו.
ההדגמה שסיפקה לנו קוואלקום התמקדה במה שאפשר לקרוא לו “אפקט היופי”, את זה אנו מכירים כבר מצד התוכנה מזה שנים רבות, אך הפעם מדובר בכלי שמסוגל לעשות זאת גם ברמת החומרה ולספק תוצאות מדויקות יותר ופוטנציאל שילך ויגדל עם הזמן ויוכל לנתח כמות גדולה יותר של פרטים בכל תמונה.
בקוואלקום מסוגלים כבר היום ליצור את הסגמנטציה הזו עבור פנים, פרטי לבוש, צמחיה, שמיים ועוד, אך בעתיד אין מן הנמנע כי נזכה לראות שיפורים ביכולות ייצוג האלמנטים השונים בתמונה גם עבור אלמנטים מורכבים לא פחות כמו מים.
אפקט בוקה (Bokeh)
אלמנט צילום נוסף שנשען על המעבד הקוגניטיבי הוא אפקט הבוקה, המאפשר לבצע הפרדה בין מושא הצילום לסביבתו לצורך יצירת עומק לתמונה, דבר המתבטא באפקט טשטוש סביב המצולם.
ואמנם שלא מדובר בתכונה חדשה במכשירים, העברתה לניתוח בצד החומרה על ידי המעבד תאפשר לבצע את העבודה בצורה מדוייקת יותר ולהוסיף גם אפקטים נוספים. המעבד הקוגניטיבי מזהה את הדמות המופיעה בתמונה ומפריד אותה מיתר האלמנטים בה, כך שניתן לבצע שיפורים גם למצולם וגם לרקע המזוהה בנפרד ממנו.
בנוסף, הדגימה לנו קוואלקום מספר פיצ’רים הניתנים להחלה בזמן אמת על גבי הרקע המטושטש, בהם האפשרות להחליף תאורת רקע מטושטשת בצורות שונות, כמו לבבות.
הערך הגדול ביותר בצורת עבודה זו צפוי להגיע בדמות חיסכון במשאבים, שכן העיבוד הנוסף לתמונה נעשה במקביל לעיבוד הרגיל ולא דורש שלבים נוספים המבוצעים לאחר מכן.
אפשרות מעניינת נוספת שפותחה על ידי הצוות בישראל המתמקד בתחום צילום הבוקה היא ביצירת אפקט של “מסך ירוק” (green screen) המסתיר את הרקע של המצולם, בין אם בתמונה או בוידאו, ומסוגל להחליף אותו ברקע אחר, זאת בדומה למה שמאפשרות תוכנות כמו “Zoom” לעשות כיום בצד התוכנה.
תכונה זו עדיין לא זמינה בשבב ה-Snapdragon 8 Gen 2 ותוצע כנראה רק עם השבב הבא של החברה.
שיפורים לצילומים בתאורה נמוכה
חלק בעייתי נוסף במצלמות טלפונים הוא בזמן צילומים המבוצעים באמצעותן בלילה או במקומות בהם אין כמות גדולה של תאורה. כבר הספקנו לראות לא מעט התקדמות בנושא בשנים האחרונות, אך אין זה מונע מקוואלקום להציע שלב נוסף שיאפשר לנו לקבל תוצאות טובות יותר בצילומים המבוצעים במקומות חשוכים.
ההדגמה שהציגה בפנינו קוואלקום התמקדה בלהציג את השיפורים שהשיגה החברה משנה לשנה וניכר כי יש שיפורים כאלה, כאשר רמת התאורה בתמונות המצולמות במכשיר המשלב את ה-Snapdragon 8 Gen 2 גבוהה יותר ולמרות זאת נשמרת גם רמה גבוהה של פרטים. יחד עם זאת, לא ראינו כאן קפיצה לרמת צילום לילה שתהפוך את התמונות לחדות וברורות כמו אלו שנצלם באור יום, אלא בשיפור על פני מה שראינו בדור הקודם.
הוציא האפשרות לצאת עם מכשיר האב-טיפוס של קוואלקום לרחובות כדי לבחון את ההבדלים, אני מצרף עבורכם תמונה שצולמה עם מכשיר ה-Galaxy S22 שהשתמש במעבד ה-Snapdragon 8 Gen 1, כדי להמחיש את התוצאות הקיימות היום, אלו כבר טובות למדי, אך ניתן לראות כי עדיין לא חסר היכן לשפר.
תמונת הסלפי מכילה כמות נמוכה יחסית של פרטים ואילו התמונה שצולמה בעזרת המצלמה הראשית במכשיר מציגה רמה מעט נמוכה של בהירות, כאשר ניכר כי האלמנטים סביב התמונה חשוכים מאוד.
חובת ההוכחה כמובן על קוואלקום ושותפותיה יצרניות הטלפונים, אך יכולת ההפרדה שמציעה כעת החברה ברמת החומרה עשויה לספק לנו הרבה מעבר למה שקיבלנו עד עכשיו במצלמות טלפונים בזמן צילום תמונות בסביבה בה התאורה נמוכה.
ייצוב תמונה ווידאו
אחרון בתור, אם כי חשוב לא פחות, הוא נושא ייצוב התמונה. את ההבדל בין תמונות המצולמות במצלמות התומכות בייצוב אופטי באופן מובנה ובין אילו שלא ניתן לראות באופן חד משמעי, כשרמת הפרטים המוצגת בתמונות המצולמות עם ייצוב אופטי גבוהה משמעותית בעיקר בזמן צילום בתנאי תאורה נמוכה ומסוגלים למנוע, או לכל הפחות לצמצם, טשטוש ומריחות בתמונות שנצלם.
בקוואלקום התמקדו השנה דווקא בצד הוידאו והציגו יכולת המאפשרת לתמונה להתייצב לדבריהם בעד 30 מעלות, כך שגם אם המצלמה זזה באופן משמעותי למדי (בזמן ריצה למשל), עדיין תוכלו לקבל תוצאה יציבה מאוד בזמן ההסרטה באמצעות הטלפון.
בהדגמה ראינו זוג טלפונים, האחד עם השבב החדש של קוואלקום והשני עם שבב אחר, ובהתמקדות באופק הצליח השבב החדש לייצב את התמונה כך שתיראה ישרה גם בהטיה של המצלמה, שנועדה לדמות אפקט של תזוזה כמו שנקבל בצילום בזמן הליכה או ריצה.
כל התכונות המתוארות כבר זמינות בשבב החדש של קוואלקום, כך שכל מה שניתן לעשות הוא לחכות ולראות כיצד הן ימומשו על ידי יצרניות הטלפונים, והאם נזכה לראות גם כמה פיצ’רים יחודיים שיעשו דרכם למכשירים המשתמשים ב-Snapdragon 8 Gen 2 ונעזרים ב-Cognitive ISP וביכולות החומרה האחרות שמספק שבב עיבוד התמונה של החברה.
