中国海洋大学学报自然科学版  2022, Vol. 52 Issue (2): 123-128  DOI: 10.16441/j.cnki.hdxb.20210087

引用本文  

李玉红, 徐铭, 葛玉荣, 等. 鲸豚声信号实时采集与分析系统[J]. 中国海洋大学学报(自然科学版), 2022, 52(2): 123-128.
Li Yuhong, Xu Ming, Ge Yurong, et al. A System of Whale Sound Signal Acquisition and Analysis in Real-Time[J]. Periodical of Ocean University of China, 2022, 52(2): 123-128.

基金项目

国家重点研究发展计划项目(2017YFC14030402)资助
Supported by the National Key R & D Program of China (2017YFC1403402)

通讯作者

徐铭:E-mail: mingxu@ouc.edu.cn

作者简介

李玉红(1995—), 女, 硕士生, 研究方向为通信与信息系统

文章历史

收稿日期:2021-03-06
修订日期:2021-04-21
鲸豚声信号实时采集与分析系统
李玉红 , 徐铭 , 葛玉荣 , 黄城铭     
中国海洋大学信息科学与工程学院,山东 青岛 266100
摘要:本文设计了一套基于FPGA的鲸豚声信号实时数据采集与分析系统,在采集存储水族馆内声信号的同时,应用改进的HHT算法处理鲸豚叫声中的click信号,实现实时的甄别瓶鼻海豚和白鲸功能,可用于针对大型哺乳动物的远洋实时跟踪科考。
关键词海洋哺乳动物    FPGA    数据采集    click信号    HHT    

生物学家已经证实对海洋哺乳动物的声音识别是一种估计其物种分布的有效办法[1-2]。对于能发声的哺乳动物如鲸豚等,通过声信号识别分析可以迅速定位到该物种的活动区域,便于进一步对其习性进行研究,从而提高海洋生态环境保护。国内外学者一直在研究更新设备,应用于采集海洋哺乳动物声信号及信号处理方式方法,在全球范围内的不同海域进行长期的鲸豚鲸声信号采集与分类整理工作。

海洋哺乳动物的叫声主要分为三类:click(回声定位信号)、burst-pulse(脉冲突发信号)和whistle(通讯交流信号)。海豚声信号主要集中在20~30 kHz(交流声)和100~150 kHz(探测声)[3-4]。牛富强等[5]发现在不同的声行为下,瓶鼻海豚发出的click信号频谱特性变化趋势基本一致。汪启铭等[6]发现厦门和雷州湾海域的中华白海豚,相邻click信号的时间间隔和声源级具有明显差别。李赫等[7]对圈养环境下瓶鼻海豚、白鲸、伪虎鲸click脉冲信号进行了特征分析,发现伪虎鲸部分click脉冲信号的频谱具有双峰的特殊性质。高德洋等[8]对圈养环境下的瓶鼻海豚、白鲸和伪虎鲸的click信号进行深度学习识别,识别率高达98.28%。海洋哺乳动物的click信号具有高频短时宽带的特点,可用于识别不同种类的海洋哺乳动物。

国外学者研制出从仅依靠水听器的简易系统到高度集成的高端系统之间的多种系统设备,用于采集检测不同环境下的海洋哺乳动物声信号[9-10]。国内声学所相关研究人员曾设计出一套声信号采集检测系统设备,其系统包括采集、监听和分析三个部分,该套设备前期经过实验室实验和水池环境测试,实验效果良好[11]。水下声信号易受多种环境因素影响,其数据量大、信号处理复杂,目前国外的icListen HF智能水听器可以对海洋动物的数据实时处理,但对于海洋动物的实时识别系统国内外报道很少。

本文利用FPGA在实时高速数据采集领域具有时钟频率高、内部延时小、集成度高、功耗低、内部资源丰富等优点[12-13],设计声信号识别算法,实现水下鲸豚声信号实时采集与处理系统,达到特定鲸豚叫声信号的实时识别。

1 系统整体设计

本文设计了鲸豚声信号实时采集处理系统,其整体结构如图 1所示。

图 1 系统框图 Fig. 1 System block diagram

本系统将水听器采集到的声信号,通过前置放大及滤波,再经过AD采样后,进行两路并行处理。一路用来存储原始数据,为保证数据连续采集的过程中持续存储的可靠,系统利用FIFO进行乒乓式数据缓存,以确保不丢失数据。另一路对原始数据进行实时处理,即用小波包将信号分解为若干个窄带信号,再进行EMD分解,进而通过IMF分量进行阈值甄别。最后通过重构的信号用于识别不同物种的叫声,进而将甄别结果通过串口上传至上位机,上位机在接收到鲸豚识别信号后,结合船舶的GPS和航速航向等信息,可将识别的鲸豚信息标注在海图上,从而实现在船舶走航过程中对水下大型哺乳动物的跟踪。

1.1 硬件设计 1.1.1 滤波放大电路设计

声信号在水中传播时衰减的非常严重,水听器接收到的声信号通常比较微弱,有时能达到μV级信号,不适合ADC器件的直接采样。为使信号放大到ADC的工作范围并尽可能降低噪声,本系统采用了一个二阶Sallen-Key带通滤波放大电路,上下限截至频率分别为200和1 kHz,使用四通道单刀单掷开关ADG1611和AD620构成可增益放大电路,可配置的增益范围为1~10 000,其性能高于三运放分立仪表放大器设计。该有源滤波器由集成运算放大器(LMH6624)构成,具有高输入阻抗,低输出阻抗可调信号截止频率的特性,从而不失真的将接收到的声信号放大到ADC的工作范围内。

1.1.2 ADC选型及SD存储

因鲸豚click信号的频率在1~200 kHz,为保证采样不失真,系统采样率为应不低于400 kHz,而鲸豚叫声信号随着其距离水听器的远近造成声信号动态变化范围在几十到上百dB。考虑到满足以上两个条件的ADC,系统采用TI公司的ADS1675芯片,其动态范围为103 dB, 分辨率24 bit,采样率最高可达4Msps, 可满足鲸豚信号的采样率要求。该芯片提供高速和低速两种数据模式,为节省存储空间本系统采用低速模式,采样率设置为500 kHz。

AD采集卡的数据采用二进制方式块存储,加上一些指令及参数的额外开销,实时存储速率约2 MB/s。为满足这种高速存储需要,系统选用class10以上的SD卡,FPGA对SD卡操作采用四线SDIO模式,SD卡的SCLK为25 MHz,SD卡理论存储速率可达20 MB/s,足以满足实时存储要求。

1.2 FPGA处理模块

既要保留原始声信号数据作为科学研究,同时又要利用算法快速实时的甄别出鲸豚的信息,普通单片机以无法胜任这种高速运算和大数据量吞吐的需要,需选用FPGA/CPLD甚至结合DSP等专用芯片来完成。相较于DSP系统,FPGA编程灵活性高,开发周期短且并行计算效率高;相较于CPLD系统,FPGA功耗低、集成度高、适合于触发器丰富的架构。为便于系统扩展及二次开发的需要,本文采用FPGA作为核心系统,选用Altera公司的Cyclone IV系列芯片:EP4CE55F23I7。该款芯片供电电源只需两路,简化了外部电源的设计,并可减小电路板面积。该芯片工作时钟通过100 MHz差分晶振提供,作为其内部PLL的输入时钟。经过PLL后的时钟可以经过分频或倍频调整时钟频率和相位,进而为内部模块提供时钟,足以满足同时采集声信号和存储的需要。系统硬件电路实物图如图 2所示。

图 2 电路实物图 Fig. 2 Physical circuit diagram
2 信号识别算法

对鲸豚click声信号的提取,本系统采用频率检测和阈值检测双重检测,先对叫声信号截取,然后对截取的声信号进行识别分析。希尔伯特-黄变换(Hilbert-Huang Transform, HHT)能较好的分析非线性非平稳信号,具有完全自适应性,对于信号整体和局部的时-频域均能达到较高的分辨率,通过改进的HHT算法能避免传统HHT中出现虚假分量的缺陷,确保分解出的固有模态分量(Intrinsic Mode Functions, IMF)[10]具有单分量的特性。

2.1 小波包分解预处理

信号经过经典模态分解(Empirical mode decomposition, EMD)后的数据信号x(t)可以表示为:

$ x\left( t \right) = {\rm{Re}}\left( {\sum {_{i = 1}^n{a_i}\left( t \right){\rm{exp}}\left( {j\int {{\omega _i}\left( t \right)} {\rm{d}}t} \right)} } \right)。$ (1)

其中:i代表了IMF的阶数;ω(t)是信号的瞬时频率;a(t)代表信号的幅度。

Hilbert边际谱H(ω, t)表示为

$ H\left( {\omega , t} \right) = \left\{ {\begin{array}{*{20}{l}} {x\left( t \right)\;\;\;\;{\omega _i}\left( t \right) = \omega }\\ {0\;\;\;\;{\rm{else}}}。\end{array}} \right. $ (2)

式中:Hilbert边际谱反映的是每一个频率点上的幅值情况,是信号瞬时频率的总幅值;H(ω)可通过Hilbert谱进行定义,即Hilbert谱对时间的积分:

$ H\left( \omega \right) = \int_{ - \infty }^{ + \infty } {H\left( {\omega , t} \right)} {\rm{d}}t。$ (3)

由于EMD具备近似的正交性,因此可知相关的IMF分量imfi(t)与原始信号x(t)会有较强的相关性[14]。据此,根据IMF分量imfi(t)与原始信号x(t)相关系数μ作为判断IMF分量是否相关的判断依据。

将相关系数进行归一化处理,避免丢失相关而能量却较小的IMF分量,对于n个IMF分量的相关系数μi(i=1, 2, …, n),甄别阈值如下[14]

$ \lambda = \frac{{{\rm{max}}\left( {{\mu _i}} \right)}}{\eta }, \left( {i = 1, 2, \cdots , n} \right)。$ (4)

其中η代表比例因子。当μi>λ时,该分量保留在IMF中,相反,则加入剩余信号中rn(t)。这样可以避免虚假的频率分量出现在Hilbert谱中,去除IMF分量imfi(t)与原始信号x(t)相关性弱的分量。

但鲸豚声信号直接进行EMD分解时得到的单个IMF分量频率成分不单一,无法保证其单分量特性,直接计算瞬时频率时容易出现频率混叠现象。要能使单个IMF分量较为明显的显示出单分量特性,必须进行预处理。

小波包分解可以把信号按照任意时频分辨率无泄漏、不重叠的分解到不同的频段。信号小波包分解可以按照需要进行多次,最终获得所需要的频率,并保留信号的所有信息。

x(t)为信号,yji(t)是尺度为2j上的第i个小波包,则小波包分解的算法为:

$ y_0^1\left( t \right) = x\left( t \right)。$ (5)
$ y_j^{2i - 1}\left( t \right) = \sum\limits_k {H\left( {k - 2t} \right)y_{j - 1}^i\left( t \right)} 。$ (6)
$ y_j^{2i}\left( t \right) = \sum\limits_k {G\left( {k - 2t} \right)y_{j - 1}^i\left( t \right)} 。$ (7)

其中: t=1, 2, …, 2Jji=1, 2, …, 2JJ=log2NH(t)和G(t)是正向镜像滤波器,H(t)和尺度函数有关,是低通滤波器;G(t)与小波函数有关,是高通滤波器。

为了确保EMD分解后得到的IMF分量均符合单分量特性,可先将原信号x(t)通过小波包分解成为若干个窄带信号,然后进行EMD分解,如此生成的所有IMF分量的瞬时频率均具有物理意义。三级小波包的分解如图 3所示。其中,A代表低频,D代表高频,末尾下标的序列号代表小波包分解的层数(即尺度数)。小波包分解在确保每个IMF分量的单分量的同时,又保证了能量较小的频率分量不会因为被能量较大的频率分量掩盖,而被EMD忽略,从而保留了高频率低能量成分。

图 3 三级小波包分解 Fig. 3 Three-level packet decomposition
2.2 改进算法

鲸豚click声信号属于高频窄脉冲,脉冲持续时间短,声信号经过EMD分解后,可获得有限个IMF分量以及残余分量rn(t)之和。经由n级(一般取n为3)小波包变换将原始信号分离成2n个窄带信号;EMD分解得到有限个IMF分量和剩余信号;归一化相关性甄别处理:计算所有IMF分量与原始信号的相关系数,利用上式得到甄别阈值λ,并进行识别工作;最终的剩余信号由相关性弱的IMF分量与剩余信号叠加得到;计算强相关的IMF分量的Hilbert变换,得到时间-频率-能量的Hilbert谱图,如图 4所示。

图 4 算法流程图 Fig. 4 Algorithm flowchart

信号通过EMD分解为4个IMF分量和残余分量,对信号的4个IMF进行希尔伯特黄运算,其频谱图如图 5所示。由图可知,信号在未进行预处理之前直接进行EMD分解产生的各IMF分量频率不单一,无法保证其单分量特性。但经过小包波分解预处理之后信号的IMF分量的单分量特性刻画的比之前有了很大的提升,能够得到信噪比较高的声信号,提高信号的分解能力,使信号中提高高频信号抑制低频信号。通过预处理之后的Hilbert变换能更加清楚地区分出频谱区间的变化,为后面用H(ω)作为特征参数进行物种识别提供数据保障。

图 5 原始信号的IMF频谱(a)与改进后的IMF频谱(b) Fig. 5 The IMF spectrum of the original signal (a) and the improved IMF spectrum(b)
2.3 FPGA实时算法逻辑

FPGA的软件使用Quartus Ⅱ对系统的程序进行编写设计,算法使用Verilog进行编写。FPGA对实时声信号一直采集记录,并做实时阈值检测,在声信号幅值超过阈值设定时,截取该阈值数据点前30 ms加后200 ms数据做FFT检测,当FFT峰值在30~150 kHz时作为获取到鲸豚信号的判据,对截取信号进一步做EMD分解,获取声信号的前4个IMF谱峰值,再做HHT得到特征参数H(ω),并结合上一步FFT后的主频做出最后判断,用于区分该声信号是白鲸或者是瓶鼻海豚。图 6为FPGA的算法逻辑流程图。

图 6 FPGA算法逻辑 Fig. 6 The algorithmic logic of FPGA
3 饲养池实验

在实验室测试成功后,本系统应用到鲸豚圈养的饲养池进行连续采集识别实验。实验中采用的水听器是丹麦B& K8104,频率响应从0.1 Hz到120 kHz,灵敏度为-205 dB(ref: 1V/μPa),设置AD采样频率为500 kHz。饲养池长20 m,宽10 m,水深5 m,白鲸和瓶鼻海豚分时进入。水听器放于饲养池的侧壁,深度3 m(见图 7)。声信号采集期间,池中鲸豚处于自由游泳的状态,期间有人员走动。

图 7 水听器在圈养池 Fig. 7 Hydrophone in captive pond
图 8 白鲸和瓶鼻海豚单个click的时域图 Fig. 8 The time domain figure of single click signal of beluga whale and bottlenose dolphin

对采集的瓶鼻海豚和白鲸的click信号用MATLB进行分析,如表 1所示。由频谱图 9可知瓶鼻海豚的能量集中在70~85 kHz,白鲸的click脉冲信号能量集中分布在50 kHz,瓶鼻海豚的实验数据在30 kHz左右一直存在信号干扰信号。通过对比牛富强等[5]室内环境的瓶鼻海豚的click信号,其采集的click信号脉冲间隔在30~490 ms,频率峰值在73 kHz。而本次实验采集的瓶鼻海豚click脉冲信号的脉冲间隔相较更小,峰值频率相较更高。可见虽然都是在室内环境,不同的圈养环境也会造成海豚的声信号特征差异。

表 1 采集的鲸豚click信号对比分析 Table 1 Comparative analysis of the collected click signals of whales and dolphins
图 9 白鲸和瓶鼻海豚单个click信号频谱图 Fig. 9 The frequency domain figure of single click signal of beluga whale and bottlenose dolphin

FPGA系统对采集到的90组原始信号(其中瓶鼻海豚和白鲸各45个)中做实时的识别,其识别正确结果为瓶鼻海豚39组正确率86.7%,白鲸40组正确率88.9%,通过对错误识别的声信号进行分析,发现问题由池壁的混响导致个别数据的截取位置错误,以及人员走动引起的振动干扰所致。

4 结语

本文将FPGA系统的高速数据采集及实时运算优势应用于海洋哺乳动物叫声信号的采集与快速识别传输,通过改进后HHT方法更加有效的提取了不同哺乳动物声信号的特征参数,对瓶鼻海豚和白鲸叫声识别的正确率达到了86.7%以上,池壁的混响和噪声是导致错误识别率的主要原因。对该系统进一步完善可将其布放到远洋货轮及远洋科考船上,从而随船实时识别大型水下哺乳动物,为海洋生态环保提供了技术支持。

参考文献
[1]
Hannay D E, Delarue J, Mouy X, et al. Marine mammal acoustic detections in the northeastern Chukchi Sea, September 2007—July 2011[J]. Continental Shelf Research, 2013(67): 127-146. (0)
[2]
钟鸣拓, 蔡文郁. 基于特征融合的海洋哺乳动物声音识别[J]. 电子科技, 2019, 32(5): 32-37.
Zhong M T, Cai W Y. Sound recognition of marine mammals based on feature fusion[J]. Electronic Technology, 2019, 32(5): 32-37. (0)
[3]
R B K, R B J. A beamforming video recorder for integrated observations of dolphin behavior and vocalizations[J]. Acoustical Society of America, 2005, 117(3): 1005-1008. DOI:10.1121/1.1831284 (0)
[4]
Lilly J C. Sonic—ultrasonic emissions of the bottlenose dolphin[M]. California: University of California Press, 1996: 503-508. (0)
[5]
牛富强, 杨燕明, 文洪涛, 等. 瓶鼻海豚click声信号特性[J]. 声学技术, 2011, 30(2): 148-152.
Niu F Q, Yang Y M, Wen H T, et al. Click sound signal characteristics of bottlenose dolphin[J]. Technical Acoustics, 2011, 30(2): 148-152. (0)
[6]
汪启铭, 许肖梅, 苏冠龙, 等. 厦门和雷州湾海域中华白海豚click信号的分析与比较[J]. 厦门大学学报(自然科学版), 2014, 53(1): 104-109.
Wang Q M, Xu X M, Su G Z, et al. The analysis and comparison of the clicks of Sousa chinensis in Xiamen Sea and Leizhou Bay[J]. Journal of Xiamen University, 2014, 53(1): 104-109. (0)
[7]
李赫, 高大治, 林建恒, 等. 圈养环境下瓶鼻海豚、白鲸、伪虎鲸click脉冲信号特征分析[J]. 声学技术, 2019, 38(1): 24-31.
Li H, Gao D Z, Lin J H, et al. Analyses of click signal characteristics of captive bottlenose dolphins, beluga whales and false killer whales[J]. Technical Acoustics, 2019, 38(1): 24-31. (0)
[8]
高德洋, 高大治, 李小雷. 基于深度学习的典型海洋哺乳动物click信号识别方法[J]. 陕西师范大学学报(自然科学版), 2019, 47(6): 37-43.
Gao D Y, Gao D Z, Li X L. Marine mammals'click signals classification based on deep learning[J]. Journal of Shaanxi Normal University (Natural Science Edition), 2019, 47(6): 37-43. (0)
[9]
郭龙祥, 梅继丹, 张亮. 鲸豚类动物声信号的分析及识别[C]. 西安: 中国声学学会水声学分会2011年全国水声学学术会议论文集, 2011, 3: 64-66.
Guo L X, Mei J D, Zhang L. Analysis and identification of cetaceans sounds[C]. Xi'an: Proceedings of 2011 National Underwater Acoustics Conference, 2011, 3: 64-66. (0)
[10]
Grandi V, Guerrini P, Biagini S, et al. The compare passive acoustic monitor: A tool for marine mammal risk mitigation[C]. //OCEANS 2010. Seattle, America: IEEE Computer Society, 2010. (0)
[11]
陈学亮, 刘维, 戴戈, 等. 海豚信号采集与检测系统[C]. 武汉: 中国声学学会2007年青年学术会议论文集(下), 2007: 2.
Chen X L, Liu W, Dei G, et al. Device for Detect and Collect Signals of Dolphin[C]. Wuhan: Proceedings of 2007 Youth Academic Conference of Acoustic Society of China (Part 2), 2007: 2. (0)
[12]
李继秀, 钟燕清, 田易, 等. 基于FPGA和USB的高速数据实时采集系统的设计和实现[J]. 电子测试, 2020(20): 23-25.
Li J X, Zhong Y Q, Tian Y, et al. Design and implementation of high speed data real-time acquisition system based on FPGA and USB[J]. Electronic Test, 2020(20): 23-25. (0)
[13]
韩宾, 易志强, 江虹, 等. 一种高精度多通道实时数据采集系统设计[J]. 仪表技术与传感器, 2019(9): 42-45.
Han B, Yi Z Q, Jiang H, et al. Design of high precision multi-channel real-time data acquisition system[J]. Instrument Technology and Sensors, 2019(9): 42-45. (0)
[14]
Peng Z K, Tse P W, Chu F L. An improved Hilbert-Huang transform and its application in vibration signal analysis[J]. Journal of Sound and Vibration, 2004, 286(1): 187-205. (0)
A System of Whale Sound Signal Acquisition and Analysis in Real-Time
Li Yuhong , Xu Ming , Ge Yurong , Huang Chengming     
College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China
Abstract: The real-time acoustic signal acquisition and discrimination technology of marine mammals (such as cetaceans and dolphins) is of great significance for ocean scientific research and marine ecological protection in China′s coastal waters. In this paper, a real-time data acquisition and analysis system of whale and dolphin sound signal based on FPGA is designed. The hardware of the system takes FPGA as the core. While collecting and storing the sound signal in the aquarium, the improved HHT algorithm is applied to process the click signal of whale and dolphin calls to realize the real-time identification of bottlenose dolphins and beluga whales, which can be used for real-time Ocean Tracking scientific research of large mammals.
Key words: marine mammals    FPGA    data collection    clicksignals    HHT