视觉与图像识别自动化测试 | 图像识别

本文介绍了图像识别技术在人工智能领域的应用及实战案例。主要内容包括：1）图像识别的概念与子任务（目标定位、检测、分类等）；2）应用场景（安防、交通、家居、自动驾驶）；3）使用HuggingFace transformers库实现目标检测和零样本检测的代码示例；4）相关学习资源推荐，包括课程、工具和视频教程。文章通过具体代码演示了如何利用预训练模型进行图像识别任务，并标注识别结果。最后提供了测试开发

霍格沃兹测试开发学社

1164人浏览 · 2025-06-18 17:39:11

霍格沃兹测试开发学社 · 2025-06-18 17:39:11 发布

图像识别是人工智能的一个重要领域，是指利用计算机视觉技术对图像进行处理、分析和理解，以达到识别图像中的对象、场景或特征的过程。

基于图像识别的概念，依据对于图像处理的方式不同延伸出很多其他的子任务，如下所示：

目标定位（Object Localization）
图像检测（Object Detection）
图像分类（Image Classification）
零样本目标检测（Zero-shot image classification）

图像识别的应用场景

安防监控：可以用于监控摄像头捕捉到的视频流，识别出人脸、车辆、行人等。
智能交通：可以应用于智能交通系统中，监测交通流量、识别车牌、监测违规行为等。
智能家居：在智能家居领域，图像识别可以用于人体检测、姿势识别、物体识别等。
自动驾驶：图像识别也是自动驾驶技术的关键技术之一，通过识别道路标志、行人、车辆等，帮助汽车实现自主导航和安全驾驶。

实战案例

本章使用 transformers==4.39.3，pillow==10.3.0，可参考版本进行安装。

实战将采用 HuggingFace 提供的 transformers 库去调用预训练模型，Transformer 库提供了易于使用的 API，可以轻松地加载、使用和微调预训练模型。预测结果将使用 pillow 库绘画出图像识别识别的结果。

HuggingFace 的 transformers 库提供了方便的接口来加载、运行和微调各种预训练的 transformers 模型，安装方式如下：

pip install transformers
pip install pillow

pipeline() 是使用预训练模型进行推理的最简便、高效的方式，适用于多种任务跨模型的应用场景。利用 pipeline()，可轻松调用不同模型。代码示例如下所示：

def test_pipeline():
    # 情感分析
    classifier = pipeline(task="sentiment-analysis")
    # 给出三个文本内容
    results = classifier(
        ["It's a great ride around the island", "The weather is bad", "He sent an email"])
    # 打印出结果
    for i in results:
        print(f"label: {i['label']}, with score: {round(i['score'], 4)}")

目标检测

目标检测是在图像中确定并标记出物体位置和类别的任务，通常以边界框的形式呈现，通常是在已知的类别中检测目标。

具体实现是模型会接收带有标签的数据，模型会返回图像中检测到的目标物体的位置和类别信息。

以下是代码示例：

def test_object_detector():
    # 打开一张图片
    with open("./breakfast.png", mode='rb') as f:
        image = Image.open(f)
        # 初始化一个 pipeline 对象
        object_detector = pipeline(task='object-detection', revision='main')
        # 传入图像
        predictions = object_detector(image)
        # 将预测结果输出
        print(json.dumps(predictions, indent=2, ensure_ascii=False))
        # 使用 ImageDraw 创建一个可在图像上绘制形状和文本的对象
        draw = ImageDraw.Draw(image)
        # 遍历检测到每个对象的预测结果  从预测结果去除边界框、标签和置信度得分信息
        for prediction in predictions:
            box = prediction["box"]
            label = prediction["label"]
            score = prediction["score"]

            xmin, ymin, xmax, ymax = box.values()
            # 使用绘图对象，在图像上绘制由边界框定义的矩形框，用红色描边，线宽为1。
            draw.rectangle((xmin, ymin, xmax, ymax), outline="red", width=1)
            # 在边界框的左上角绘制文本，显示对象标签和置信度得分，文本颜色为白色，字号为16。
            # Win 使用Arial字体 ：ImageFont.truetype('arial.ttf')
            # Mac可用 PingFang：ImageFont.truetype('PingFang')
            draw.text((xmin, ymin), f"{label}:{round(score, 2)}", fill="white",
                      font=ImageFont.truetype('arial.ttf', size=16))
        # 展示绘制结果
        image.show()
        # 保存图片
        image.save('./breakfast_object.png')

零样本目标检测

零样本目标检测是利用模型再训练阶段学到的通用特征，在没有事先见过的类别的情况下，在图像中检测和识别目标物体。

具体实现是将图像传递给零样本目标检测模型，并且给出一组候选标签（candidate_labels），模型会尝试识别图像中是否存在标签对应的物体。

以下是代码示例：

def test_object_detect():
    with open('breakfast.png', mode='rb') as f:
        image = Image.open(f)
        # 初始化一个 pipeline 对象
        object_detector = pipeline(
            task="zero-shot-object-detection",
            revision='main'
        )
        # 传入图像，并且给出标签
        predictions = object_detector(image, candidate_labels=['milk'])
        print(json.dumps(predictions, indent=2, ensure_ascii=False))
        # 可视化预测
        draw = ImageDraw.Draw(image)
        # 遍历检测到的每个对象的预测结果。
        for prediction in predictions:
            # 从每个预测结果中获取边界框（box）、标签（label）和置信度得分（score）等信息。
            box = prediction["box"]
            label = prediction["label"]
            score = prediction["score"]

            xmin, ymin, xmax, ymax = box.values()
            # 使用绘图对象，在图像上绘制由边界框定义的矩形框，用红色描边，线宽为1。
            draw.rectangle((xmin, ymin, xmax, ymax), outline="red", width=1)
            # 在边界框的左上角绘制文本，显示对象标签和置信度得分，文本颜色为白色，字号为16。
            # Win 使用Arial字体 ：ImageFont.truetype('arial.ttf')
            # Mac可用 PingFang：ImageFont.truetype('PingFang')
            draw.text((xmin, ymin), f"{label}: {round(score, 2)}", fill="white",
                      font=ImageFont.truetype('arial.ttf', size=16))
        image.show()
        image.save('breakfast_zero_milk.png')

爱测智能化服务平台

测开人必看！0代码+AI驱动，测试效率飙升300% ——霍格沃兹测试开发学社‌重磅上新‌「爱测智能化服务平台」限时开放体验！

一码难求的Manus：智能体技术如何重构生产力？测试领域又有哪些新机遇？

开源工具

AppCrawler 开源版
https://github.com/seveniruby/AppCrawler

Hogwarts-Browser-Use 开源版
指导安装贴：hogwarts-browser-use - 开源项目 - 爱测-测试人社区

专业版（7天免费试用）

自动遍历测试框架 AppCrawler 专业版
通用数据驱动测试框架 hogwarts-ddt 专业版
测试智能体框架 hogwarts-agent 专业版

学社提供的资源

教育官网：霍格沃兹测试开发学社
科技官网：测吧（北京）科技有限公司
火焰杯就业选拔赛：火焰杯就业选拔赛 - 霍格沃兹测试开发学社
火焰杯职业竞赛：火焰杯职业竞赛 - 霍格沃兹测试开发学社
学习路线图：霍格沃兹测试开发学社
公益社区论坛：爱测-测试人社区 - 软件测试开发爱好者的交流社区，交流范围涵盖软件测试、自动化测试、UI测试、接口测试、性能测试、安全测试、测试开发、测试平台、开源测试、测试教程、测试面试题、appium、selenium、jmeter、jenkins
公众号：霍格沃兹测试学院
视频号：霍格沃兹软件测试
ChatGPT体验地址：霍格沃兹测试开发学社

本套视频教程所有配套资料领取方式如下:

脑启社区是一个专注类脑智能领域的开发者社区。欢迎加入社区，共建类脑智能生态。社区为开发者提供了丰富的开源类脑工具软件、类脑算法模型及数据集、类脑知识库、类脑技术培训课程以及类脑应用案例等资源。

更多推荐

突破 Transformer 极限：一文看懂类脑架构 MT-LNN 最新的“超神”评测结果！

脑启社区

人工智能导论：模型与算法（未来发展与趋势）

人工智能作为引领新一轮科技革命和产业变革的战略性技术，正在深刻改变人类社会。本章从类脑计算、自动化机器学习、神经网络压缩、人工智能芯片、量子机器学习、人工智能伦理与治理、人工智能算法开发框架等方面，简要总结人工智能的未来发展方向和趋势。

脑启社区

CNSH通用翻译引擎 | 全语言互译+AI鉴定+来源追溯

《CNSH通用翻译引擎v1.0》摘要：该神经网络式翻译系统采用类脑架构设计，核心包含智能路由中枢（决策前额叶）和模块神经网络。具备多语言互译、AI伪代码识别、代码溯源三大功能，支持动态路径调整和双向反馈学习。系统通过特征感知、智能路由、并行处理实现高效翻译，并采用DNA追溯和三色审计确保可靠性。相比传统流水线架构，新设计具有神经网络的自适应优势，各模块可互相激活协作，实现更接近人类思维的翻译过程。