[Tech Day 2022] ISOCELLがカメラ体験の未来をどのように解放するのか

サムスン電子は写真と動画の品質を向上させる高性能イメージセンサー開発におけるリーダーです。サムスン電子は最近、テックデー2022イベントを主催し、そこではイメージセンサーを含むさまざまなシステムLSI関連技術に対する最新の進歩と未来への抱負を共有しました。センサー設計チームのバイスプレジデント、Joon-Seok Kim(副社長)は、スマートフォンでの写真体験と動画体験のなかなか解決しない問題と、サムスン電子がどのようにしてスマートフォンでキャプチャしたコンテンツの品質を向上するためにイメージセンサーを開発し続けているかについて論じました。 イメージセンサー技術は大きな発展を遂げ、今やスマートフォンの写真品質はプロのデジタルカメラで撮影したものとほぼ同等になっています。センサー技術は鍵となりますが、その他の側面でのマルチフレームノイズ低減、HDRとAI用のソフトウェアも、この進化に対して重要でした。 カメラの使いかたも大きく変わりました。かつては主に静止画写真を撮っていましたが、今では動画がすべてです。動画ははるかに説得力のあるものと考えられ、人気のあるソーシャルメディアアプリによって消費者からの大きな需要が存在します。しかしまだ、静止画と動画とでは品質のギャップが存在し、このギャップを埋めることは困難であることが実証済みです。 スマートフォン動画がなぜまだ追いつけないのか スマートフォンの動画品質が後れを取っている最初の理由は特に低照度での視覚上の「ノイズ」の存在です。これは動画モードにおいて、毎秒30フレーム(fps)で十分な照度のキャプチャをするときに必要な露光時間が不足していることが原因です。 2番目の問題は高ダイナミックレンジ(HDR)画像についてです。逆光などの複雑な外光条件で被写体と背景の両方を真の色に見せることは困難です。これを機能させるために、スマートフォンはシステムオンチップ(SoC)を介してマルチ露光とマルチフレーム融合を実行する必要があり、実用的にこれを行うには多くのメモリーと電力を使用します。 3番目は深度センシング機能の欠如です。デジタル一眼レフカメラの最高の機能として「ボケ」があります。これは画像で焦点から外れた部分が心地よく見える形でぼやかす機能です。SoCを使用することでユーザーはぼけた背景から被写体を目立たせる写真を撮ることができます。しかし動画ではHDRと同じ理由でこの方法は実用的ではありません。 「これらの問題はソフトウェアではなくセンサーで解決する必要があると考え、弊社は3部構成のアプローチを取りました。最初に、光と露光感度の改善を行いました。この改善は小さくて薄いスマートフォンカメラでは特に大きな難題でした。次に輝度範囲を増やすために12ビットと14ビットセンサーに取り組み、優れたHDRのためにさらに高いダイナミックレンジのセンサーに向かいました。そして3番目には、真の画像深度を検出するToF(Time Of Flight)センサーを開発しました。サムスン電子の最終目標はスマートフォン動画とその他の3D用途で正確なボケを実現することです」とKimは話しました。 アドバンストISOCELL画素技術 近年、画素を作る科学は大きく進歩しています。高解像度イメージセンサーには小さい感光性の画素が必要です。可能な限りの光をキャプチャするため、画素構造は表面照射型(FSI)から裏面照射型(BSI)に進化しました。この構造でフォトダイオード層を配線の下側ではなく上側に配置します。フォトダイオードを光源の近くに配置することにより、各画素はより多くの光をキャプチャできます。この構造のマイナス面は画素間のクロストークが増大し、色汚染を導くことです。 「このようなデメリットを改善するためにサムスン電子は、障壁を追加することによって各画素をそれぞれ隔離する最初の技術であるISOCELLを採用しました。ISOCELLという名前は、「isolate(隔離)」と「cell(セル)」を組み合わせた語です。各セルを隔離することによりISOCELLはセルのフルウェル容量を増やし、より多くの光を保持して各画素間のクロストークを減少させることができます」とKimは説明しました。

その開始からISOCELL画素技術は進化を続け、その新世代の進歩は最新イメージセンサーに応用されています。たとえば、現在のISOCELLはカラーフィルター間に革新的な低屈折率材料からなる光学壁を追加しています。それに加えて、「隣接画素の光を極限のレベルまで活用する、さらに革新的な高屈折率ナノ構造を開発中です。 このようなナノフォトニクス技術を適用することにより、通常の限界を超える高感度を達成します」とKimは語りました。 真に迫った色を再現するHDR技術 通常のイメージセンサーは10ビット画像で約60dBのダイナミックレンジしかサポートしません。大多数のシナリオで細やかなディテールをキャプチャするには、センサーは最低でも14ビットをサポートする必要があります。静止画では、1つの解決策はマルチ露光画像キャプチャです。このテクニックでは暗い部分では長時間露光画像を撮影し、次に明るい部分に対して短時間露光画像を撮影します。これら2枚の画像はその後合成されてHDR画像が生成されます。もっと高いダイナミックレンジにしたい場合には、3枚以上の露光が使用できます。 この方法は動画ではいくつかの問題を引き起こします。まず、消費電力です。30fpsのHDR動画をキャプチャするには、60fpsで撮影して二重露光を取得する必要があります。このような大きな画像データをリアルタイムで処理するには非常に多量の電力が必要となります。 2番目の問題は、動く被写体をキャプチャするときに固有の問題である、モーションアーチファクトです。複数露光は異なった時点で撮られた複数の画像を合成するということです。高速での動きはどんな場合でも、合成処理を非常に困難にして、崩れた画像や自然ではない画像が生まれます。 このことを解決する方法の1つとして、「代わりに弊社はセンサー内の単一露光HDR技術を構築しました。これによりHDR動画に対してSoCで要求される処理が単純化され、消費電力が減少しモーションアーチファクトが低減されます」と、Kimは語りました。 ダイナミックレンジは信号レベルとノイズレベルの間の比率です。ISOCELL技術によってISOCELLイメージセンサーは非常に高いフルウェル容量を持ちます。最新のISOCELLイメージセンサーの画素は最大70,000エレクトロンを持ち、センサーが巨大な信号範囲を達成することを可能にします。 Kimは次のように説明しました。「ノイズを低減するために、2回の読み取りを実行します：暗いディテールを示す高利得と、明るいディテールを示す低利得の2回です。2回の読み取りは、その後センサー内で合成されます。各読み取りは10ビットです。4倍での高変換利得読み取りにより、さらに2ビットを追加し、12ビットのHDR画像出力を生成します。この技術はスマートISOプロと呼ばれ、iDCG(シーン内デュアルコンバージョンゲイン)としても知られています。

ISOCELL HM6とGN5イメージセンサーはスマートISOプロ技術を搭載し、現在販売中の製品で、シャープでディテールのある画像のために12ビットのHDR機能を提供しています。しかし12ビットではまだ十分ではありません。目を引く動画をキャプチャするには完全14ビット以上が必要です。サムスン電子は拡張iDCGによる14ビットHDRを提供するISOCELL HP3を最近発売しました。さらにサムスン電子は、16ビットHDRセンサーをまもなく提供する予定です。 トゥルーデプスのためのToF技術 センサーと被写体との距離を計測するため、サムスン電子は過去5年間にわたりToF技術に焦点を当ててきました。ToFは発光した赤外線光が被写体で跳ね返りセンサーに戻るまでの時間を計測します。サムスン電子の間接ToF(iToF)は高S/N比、高解像度、高フレームレートであり、2D深度マップと3D点群を生成します。

サムスン電子は、画像信号プロセッサ(ISP)を統合した新世代iToFセンサーのリリースを計画しています。深度情報のすべての処理は、SoCに委任するのではなくセンサー内のISPにより行われ、このため全体動作で使用する消費電力は低減されます。さらに、この新しいソリューションは低照度環境、細い被写体、反復する模様などのシナリオにおいても深度品質が向上します。さらなる用途として、サムスン電子のISP統合型ToFはモーションブラーや遅延のない高品質深度画像を高フレームレートで可能とします。 これらの新しい技術革新すべてはモバイルデバイスでキャプチャーできる、よりクリアで高品質の画像処理を提供し続けます。「未来技術でサムスン電子は、弊社のユーザーが画像と動画をキャプチャする方法を変え続け、向上し続け、そして画像と動画との品質のギャップを埋めることを狙っています。サムスン電子の最終目標は人間の生活を強化、生活を向上、安全で健康にするセンサーを通じて未来への解決策を作ることです」とKimはプレゼンテーションを締めくくりました。