網站首頁 電腦游戲 手機游戲 翻譯軟件 動漫下載 電影下載 電視劇下載 游戲攻略
標題 | 當今旗艦電視最新畫質技術 馬上就被聯發科搬到手機上了 |
分類 | 熱點事件 |
內容 | 現在在家看電影,人們更喜歡用電視。 畢竟同等條件下,電視的屏幕顯示和畫質都在,手機再怎么升級屏幕,沉浸感也比電視好。 但是,就在最近一期的天奇旗艦技術溝通會上,聯發科突然宣布,已經成功將電視畫質的‘秘籍’搬到手機上,為3354。 要知道在智能電視市場,聯發科的智能電視芯片已經幫助超過20億臺電視產品在全球上市,是該領域的領先廠商,畫質增強技術也有著長期的積累。 電視技術轉移到手機上帶來了兩個好處。一方面,畫質更高;另一方面,用手機拍照甚至視頻,可以節省計算能力,進一步提高能效。
雖然之前手機已經掌握了很多圖像處理的技巧,但是相比高端電視還是比較低調的。 這到底是怎么回事? 將電視畫質技術搬到了手機上 最新的電視技術叫做AI Depth PQ,已經在很多電視上使用。 在這種情況下,聯發科腦洞大開:為什么不能把這種AI畫質優化技術直接應用到手機攝影和視頻實時處理中,直接提升拍攝效果? 具體來說,通過AI增強圖像質量的技術可以分為幾類,包括AI圖像語義分割技術、景深估計技術和智能優化技術。 整個技術最重要也是最核心的是AI圖像語義分割技術。 這項技術本身并不復雜。核心思想是將場景中的不同物體按照‘筆畫’劃分成若干區域。每個區域中的所有像素都可以用相同的標簽來標記:
然而,當它用于手機智能拍照時,至少有三個挑戰: AI的理解能力,如何合理分割照片的前景和背景;AI的決策能力,如何選擇各個區域的優化算法;受限于手機尺寸,AI算法的功耗不可能太大. 比如上圖中,站在他身后的路人和在毯子上拍照的兩位主角,雖然都屬于‘人’的標簽,但需要進行完全不同的處理。一個需要摳圖和智能剔除,一個需要智能美顏算法:
比如你要像電視處理電影一樣把這種技術實時擴展到視頻拍攝,AI圖像語義分割技術就不能占用太多的計算能力,否則會直接掉幀甚至快速掉電.
針對這幾點,聯發科開發了幾個相應的算法來‘匹配’語義分割算法。 首先結合場景識別優化語義分割算法,使AI不僅能區分前景(如人像、動物等。)從背景中,還進一步識別不同種類的背景,如建筑物、天空、綠地、植物和水池。 然后,就是AI區域PQ技術。 將照片分為不同區域的前景和背景后,AI會根據每個區域的物體特征分析選擇最合適的優化算法,優化照片不同區域‘拆分’的效果。 比如針對藍天的優化,基于色彩增強算法讓天空看起來更亮;對于建筑物的優化,主要集中在對比度和銳度上,比如結合超分辨率等算法讓建筑物的窗戶等細節看起來更清晰……
以前的視頻實時焦點跟蹤算法往往是逐幀聚焦,通過計算幀間的差異來調整清晰度,不僅消耗計算能力,還可能降低視頻的平滑度。 相比之下,使用語義分割算法區分前景后,只需要對前景區域進行檢測和聚焦,而背景不需要花費更多的計算能力進行優化,節省了大量的計算能力。 這樣不僅照片和視頻得到了實時算法的優化,而且比原來節省了大量的計算能力。比如拍攝4K30幀視頻和8K30幀視頻所需的計算能力降低到原來的1/4。
其實這并不是聯發科第一次布局手機AI技術。 用人工智能突破計算攝影的瓶頸 2018年起,聯發科開始專注于計算攝影作為手機芯片算法的研發。 當年10月推出的Helio P70處理器,重點提升了多幀降噪(MFNR)的性能,即一次拍攝多張照片,然后通過計算每一個位置對應的多層像素的平均值來輸出,提高照片的清晰度。 這涉及到大量算法的優化,尤其是多張照片的拍攝和處理速度。Helio P70在優化多幀降噪算法后,性能提升了20%左右。 然而,在計算攝影的研發過程中,團隊遇到了計算機視覺中的一些算法優化限制。 隨著更多的AI算法在手機端優化,計算攝影團隊的工作重心也逐漸轉移到AI技術研發上。 一方面是芯片上AI計算能力的提升。 從2018年的Helio P90,到強調AI計算速度并引入包括剪枝在內的一系列優化算法的AI計算平臺NeuroPilot v2.0,再到MiraVision畫質引擎和APU3.02020年的維度是1000; 從2021年開始強調的‘每瓦有效計算能力’這個指標,也就是APU長時間運行的功率在1W左右。聯發科在這方面一直強調‘開源節流’,以優化AI的能耗。 也就是說,在不增加功耗的情況下,盡可能提高AI算法在手機上的運行效果。 另一方面是不斷提升AI算法的性能。 就整體研究范圍而言,聯發科近年來一直在加大對AI的重視,包括貝葉斯優化和元學習相關的機器學習研究,相關論文已在NeurIPS和ICLR等峰會上發表。 其中有與圖像處理相關的研究。例如,提出了一個名為CycleNet的框架,以提高AI在拍攝場景中識別深度對象(即與鏡頭的距離)的能力。
至于我們多久能在手機上看到這樣的AI技術?這要看聯發科(doge)的速度 還有哪些手機技能是要點亮的? 隨著越來越多AI落地的技術,手機應用似乎正在接近想象的極限。 甚至有觀點認為,目前只有AI技術才能提高手機的性能和創造力。 但事實真的是這樣嗎?
包括GPU,通訊甚至導航等。也是大家期待在手機上進一步提高的硬件設備‘技能點’。 在這種情況下,手機還有哪些功能空間需要改進? 如果仔細觀察這幾年芯片技術的發展趨勢,會發現還是有很多的。 從聯發科在年透露的情況來看 但與去年提出的火熱概念相比,今年的移動光學追求在手機上已經逐漸成為一個可以預見的功能賣點,并且隨著技術的成熟會蔓延到更多的移動設備上。 類似的還有移動GPU效率提升方案,也是和移動光學追蹤同步的。目的是在保持芯片能效優化的同時,增加圖像刷新率、分辨率和渲染復雜度,從而達到軟硬件同步跟進的效果。
其中新增的雙通是指在雙卡待機的情況下,雙卡信號完全互不影響的能力,也就是用流量卡打游戲時,主卡接電話時完全不受影響。 隨著明年Wi-Fi 7標準的發布,WiFi的吞吐量、穩定性、時延都將進一步提升。屆時,手機實時玩游戲的體驗將再次得到提升。 至于高保真藍牙音頻,主要是改進音頻編解碼器和高帶寬技術,從而進一步提高音頻傳輸效率和音質。
隨著自動駕駛和V2X等技術的快速發展,車道級導航現在已經成為汽車和機器的標準。 但是,當汽車不使用或手機導航在車內時,除了衛星信號達不到的室內場所,高層建筑區域也需要高精度的手機導航技術。
年底將再次發布下一代天機旗艦芯片。根據網傳,型號為天機9200。你最期待在上面出現什么功能?
|
隨便看 |
|
哈斯迪拉游戲下載網游戲攻略欄目提供軟件使用教程、手機游戲攻略等方法技巧。