'cameraView.addFrameProcessor', но с использованием изображения в реальном времени с экрана вместо камеры

avatar
Diand
8 августа 2021 в 17:48
57
0
0

Я несколько дней искал в Google, но, похоже, мне не повезло.

Мне нужна функциональность, аналогичная cameraView.addFrameProcessor, но с использованием экранных изображений в реальном времени вместо камеры. в основном, я хочу реализовать функцию, аналогичную функции Google Assistant «Объектив Google» или «Что на моем экране»,

ниже примера для frameProcessor:

class MainActivity : AppCompatActivity() {
  
  override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_main)
        Fritz.configure(this)

        cameraView.addFrameProcessor { frame ->
             //This returns a frame, which cann be used to retrieve the preview                    
        }
    }  
}

Это вообще существует?

Источник
Morrison Chang
8 августа 2021 в 18:02
0

Не уверен, как этот вопрос относится к тегам «ios», «flutter» или даже «kotlin». Я также хотел бы уточнить, о каком FrameProcessor вы говорите, так как это распространенное имя во многих библиотеках.

Diand
8 августа 2021 в 18:37
0

спасибо за отзыв, я изменил заголовок и теги, чтобы они были более конкретными.

Diand
8 августа 2021 в 18:40
0

Я также добавляю пример кода, на который я ссылаюсь. @МоррисонЧанг

Morrison Chang
8 августа 2021 в 18:54
0

Знаете ли вы о Android – MediaProjection API Пример см. на странице github.com/android/media-samples/tree/main/ScreenCapture.

Diand
8 августа 2021 в 21:12
0

@MorrisonChang спасибо! Я попробую этот, я не уверен, подходит ли этот метод или лучше всего подходит для моих нужд, мне нужно получать данные экрана, пока дисплей включен, но мне не нужно сохранять изображение файл, это может занять много ресурсов устройства для обработки? или есть способ перехватить данные экрана вместо того, чтобы делать снимки экрана сотни раз? так как я не совсем уверен, как это работает на низкоуровневом процессе.

Morrison Chang
8 августа 2021 в 23:40
0

Насколько я помню, функция типа «что у меня на экране» обрабатывала только статическое изображение, поэтому вы правы, что несколько изображений будут иметь дополнительную стоимость. Я бы посоветовал узнать об обработке изображений, так как кажется, что вы думаете, что видео облегчит задачу (краткий ответ - это не так).

Diand
9 августа 2021 в 05:29
0

а как же гугл линзы? поскольку он работает в режиме реального времени и работает постоянно, есть ли ему альтернатива? но вместо использования камеры источником изображения является экран, MediaProjection по-прежнему рекомендуется для этого? @МоррисонЧанг

Morrison Chang
9 августа 2021 в 14:13
0

Объектив Google — это приложение камеры переднего плана, которое может бесплатно использовать все ресурсы (например, игру). Для функции «что у меня на экране» может быть запущен браузер или другое приложение. Это также будет иметь последствия для разрешений безопасности. Удачи.

Diand
10 августа 2021 в 01:30
0

Понял, большое спасибо @MorrisonChang!

Ответы (0)