用户参与视角下多图推文的图像位置和布局效应
马晓悦, 孟啸    
西安交通大学 新闻与新媒体学院, 西安 710049
摘要:该文受用户认知研究启发,探究新浪微博平台中多图推文的图像位置与布局对图像内容向用户互动参与行为转化过程的影响。使用基于单图推文数据训练的XGBoost模型预测多图推文中各张图像所具有的“用户参与潜力”,通过相关分析、Z检验、OLS回归分析验证图像位置、布局与用户参与的关系。研究结果表明,在新浪微博平台的多图推文中,图像位置与布局因素能够在一定程度上影响用户互动参与,具体表现为:1)在图像位置效应中,包含2张、4张、5张和8张图像的推文具有右侧位置效应,包含6张、8张图像的推文具有底部位置效应,包含3张和8张图像的推文分别具有边缘效应和中间效应,其他大多情况下则为对称效应。2)在图像布局效应中,布局2、3、4、5、6、8相比单张图像能够正向促进图像的用户参与潜力转化,使得图像推文可能实现超出其内容潜力平均水平的用户参与度;但是布局7具有负面影响,布局9与单图推文无显著差异。研究结果可为社交媒体图像信息发布提供参考。
关键词社交媒体视觉    图像分布    用户参与    机器学习    回归分析    
Image position and layout effects of multi-image tweets from the perspective of user engagement
MA Xiaoyue, MENG Xiao    
School of Journalism and New Media, Xi'an Jiaotong University, Xi'an 710049, China
Abstract: Inspired by user cognition research, this study explores the image position and layout effects on the transformation process from image content to user engagement behavior in multi-image tweets on the Sina Weibo platform. The XGBoost model trained on the single-image tweet data was used to predict each image's "user engagement potential" in multi-image tweets. Correlation analysis, Z-test, and ordinary least squares (OLS) regression analysis were used to verify the relationship between image position, layout, and user engagement. The results show that in multi-image tweets on the Sina Weibo platform, the image position and layout factors can affect user engagement behavior to a certain extent. That is, (1) for the image position effect, tweets containing 2, 4, 5, and 8 images had the right position effect. Tweets containing 6 and 8 images had the bottom position effect. Tweets containing 3 and 8 images had the edge and middle effects, respectively. Others, in most cases, had symmetric effects. (2) For the image layout effect, Layouts 2, 3, 4, 5, 6, and 8 can positively promote the user engagement potential transfer of images compared with the single image so that the image tweet may achieve user engagement beyond the average level of its potential. However, Layout 7 had a negative effect, and Layout 9 had no significant difference from single-image tweets. The results of this study can provide references for the release of social media image information.
Key words: social media visualization    image distribution    user engagement    machine learning    regression analysis    

数字技术和图像内容的广泛使用导致了在线信息的指数扩张,这意味着在线用户注意力正变得越来越紧张,如何高效组织图像内容以获取用户参与成为研究者普遍关注的问题。文[1]通过实验证实了单张图像的情绪和内容能够影响用户的注意力,进而作用于用户的点击和参与行为。在与癌症相关的Facebook帖子中,带有照片的帖子比带有视频、链接和状态更新的帖子收到的点赞、评论和分享明显更多[2]。在关于Instagram上的私人照片研究中,文[3]发现性感照片能够收到更多的点赞,这种现象在名人和普通用户中都有体现。文[4]在商业场景中证实了社交媒体名人与粉丝之间的视觉兴趣的一致性促进了粉丝对名人发布内容的参与行为,并影响了用户对社交媒体名人所代言品牌的参与。在社交媒体用户的图像内容参与研究中,内容分析法得到广泛应用,近年来随着人工智能技术的进步,基于深度学习的图像分析方法也被应用于提取图像特征和预测用户参与。

然而,先前的研究大多聚焦于社交媒体用户发布的单张图像以及图像的内容属性,较少关注用户发布图像的形式,特别是以多图形式发布的社交媒体图像的位置与布局属性。目前,大多数社交媒体平台支持在单条推文中发布多张图像,例如,Twitter的每条推文支持上传最多4张图像,微博每条推文允许包含至多18张图像,但是只有前9张予以直接呈现。这种多图的图像布局形式与各张图像的位置属性差异有可能影响用户注意力分配和参与行为, 进而影响图像内容向用户参与行为的转化过程。因此,本文从社交媒体中的多图推文出发,研究了图像推文的布局和位置属性与图像内容向用户参与行为转化过程的关联规律。

在研究设计阶段,本文假设每张图像具有一定的“用户参与潜力”,这是由图像及其文本描述内容和社交情境所决定,图像内容对用户互动参与行为的影响过程被抽象为图像的用户参与潜力向真实用户参与度的转化过程。而图像的布局模式与位置则作为外部因素制约图像的用户参与潜力向推文用户参与度的转化。在具体的实施过程中,社交媒体推文的图像数据及其位置特征、用户参与数据从社交媒体平台收集;然后,基于XGBoost模型预测图像的用户参与潜力;接着,通过对水平效应、垂直效应、中间效应的测算,分析不同位置图像在用户参与潜力转化效果上的差异性;最后,通过普通最小二乘回归(OLS)来检验布局对用户参与度转化的影响。

1 文献回顾 1.1 社交媒体中的图像与用户参与行为

参与被认为是一种交互的共同创造价值的过程,包括认知、情感、行为等多个维度[5]。也有研究将参与视为与媒介的互动,在线社交网络用户的社交参与包括基于点击的互动以及简单的内容浏览和阅读行为[6],本文将基于这一用户参与的定义进行研究。近年来,互联网正在发生视觉上的转变,照片成为在线交流的主要社交货币[7]。社交媒体图像与用户参与间的复杂关系受到研究者的广泛关注,相关研究主要集中在2个方面:1) 图像与用户参与的关系;2) 图像受欢迎程度预测。

图像与用户参与的关系研究侧重于对社交媒体用户图像发布与参与行为的解释。一方面,社交媒体图像内容能够影响用户的参与。在与品牌相关的热门帖子中,黑色、灰色和棕色的图像使用频率更高[8]。在社交媒体信息流广告中,第一人称叙事配上温暖的图像会获得更多的点赞,因为它增强了用户的社会归属动机[9]。除了颜色,图像的抽象特征与用户参与的关系更受研究者关注。例如,人们倾向于喜欢并分享含有美味食物的图像,审美情趣和特定的视觉特征影响了食物图像的受欢迎程度[10]。不同群体上传的照片得到的点赞存在差异,名人与名人一同拍摄的照片更容易被点赞,性感照片受到点赞的可能性更大[3]。对于Instagram上政客发布的图像,在非政治的环境中展示一个人的脸、展示情感通常会增加观众的参与度[11]。一些抽象的细节也可能会潜在影响用户的参与行为,有研究表明在Instagram中,左脸颊姿势的图像获得的点赞数比右脸颊姿势的图像多10%,而性别并不影响点赞数[12]。另一方面,社交媒体用户参与也会反向影响用户社交媒体图像的生成。用户在利用图像进行社交媒体自我展示时会考虑推文的受欢迎程度[13],用户发布照片获得的正面反馈能够预测发布此类内容的频率[14]。在上述研究中,内容分析和问卷法得到广泛应用,也有使用深度学习来提取图像的特征。深度学习技术既可以确认调查数据的有效性,也可以获得在传统调查中难以获得的信息[15]

基于图像多种特征预测图像的受欢迎程度对于内容发布具有重要指导意义。社交媒体图像包含了人数规模、社会标志、地理位置、时间等信息,能够提供新的变量并改进现有测量[16]。研究者主要融合色彩、纹理、实体对象等图像内容特征以及图像的文本描述、用户信息等社会情境特征,利用多种机器学习技术实现受欢迎程度预测[17-18]。例如文[19]将视觉情感特征与上下文语境特征相结合,利用支持向量回归(SVR)方法预测图像受欢迎程度,分析结果表明表现厌烦和宁静情感的图像流行度低,表现惊奇或狂喜情感的图像流行度高。文[20]采用集成学习的方法,结合了SVR和分类回归树(CART)通过用户特征、元数据特征和图像美学特征预测内容流行度。文[21]基于ResNet和Bert模型提取社交媒体的图像文本特征并建立深度神经网络预测社交媒体内容的受欢迎程度,结果表明用户信息特征对结果预测最有效,图文特征对结果也有重要影响。文[22]基于图像语义、社会语境和图像早期流行情况来预测图像在不同时期的流行度。

1.2 用户体验中的位置布局因素

用户体验包括参与某些活动的所有感觉、想法、感觉和行动[22]。在进行用户体验设计时,需要考虑用户已有的交互经验与记忆以便于用户认知与接受[23]。空间、位置对于参与者具有一定的隐藏含义,并对用户体验产生影响。概念隐喻理论认为,概念系统的核心直接基于感知、身体运动和物理和社会性质的经验,时间、数量、质量等抽象概念可以用空间等更具体的经验域来表示[24-25],例如,人们会自动地认为视觉空间高的物体是好的,而视觉空间低的物体是不好的[26];时间的早晚与空间的左右概念具有联系[27]。在消费场景中,商场顶部和中部货架位置比低部货架位置能够获得消费者更多的关注,然而只有最高货架位置影响消费者对品牌评估和选择[28]。消费者认为受欢迎的产品放在中间货架,昂贵的产品放在顶部货架,促销的产品放在货架的边缘,然而实证研究表明零售商对产品的布局与消费者对中间和水平位置的看法相反,但它们遵循消费者对垂直位置的直觉[29]。在针对商品包装的研究中,文[30]发现位于咖啡包装底部的图像与位于包装顶部的图像相比,更能增加用户对咖啡的感知强度和产品的购买意向。文[31]发现将包装上的标签放置在较高的垂直位置,能够增强消费者对产品的权力感知, 进而对消费者对产品质量的推断和行为意图产生积极影响。

布局和位置因素的概念隐喻为以用户为中心的人机交互设计提供了参考,将布局位置隐喻的映射作为一种群体刻板印象指导界面元素与布局设计,可以降低用户认知成本和提高交互质量和效率[32-33]。在视觉搜索任务中,顶部和底部位置的水平菜单的搜索时间更快,有经验的互联网用户可能对特定网页设计形成了自动注意反应[34]。文[35]利用用户的浏览器搜索习惯与浏览过的历史界面,重组界面的空间布局,从而使网页功能更容易被找到。文[36]在其设计的信息扩散可视化项目中使用地图隐喻,通过节点在地图中的位置与布局表征节点在信息传播关系中的地位与功能。在移动互联网时代,移动终端小屏幕上的视觉刺激经常被快速处理,位于中心附近的物品会被注意到并被更频繁地重新检查[37]。文[38]发现,在Instagram上品牌图像中产品位置的显著性会显著正向影响用户的数字视觉参与并作用于购买意愿。文[39]比较了用户在使用智能眼镜阅读时,文本在右上方、中间和中心下方的呈现方式的用户体验差异,结果发现显示在右上方的文本增加了主观工作量,降低了理解能力,而用户更偏好底部-右侧位置。

综上所述,以往研究已经从多个角度对社交媒体图像的用户参与行为进行了探索,但是仍存在一些不足:1) 模糊了推文中的图像数量和图像布局,忽视了社交媒体中包含多张图像的推文的用户参与行为;2) 对于位置与布局的关注往往仅限于交互界面元素和单张图像内容,未考虑不同图像间的位置关系以及这种位置关系对用户参与的影响;3) 尽管机器学习方法在图像内容用户参与预测方面受到广泛应用,但在以解释为导向的研究中仍缺少融合的思路。因此,有必要探索多图推文的位置与布局属性,适应视觉化的社交媒体平台趋势,为社交媒体图像研究提供新思路。

2 研究方法

本文的研究过程可被分为4部分:数据收集、单张图像的用户参与潜力计算、图像位置效应分析和图像布局效应分析。首先,从新浪微博平台收集用户的原创图像推文;然后,基于单图推文数据构建用户参与潜力预测模型,评估多图推文中图像的用户参与潜力;接着,借助相关分析、Z检验和回归模型分析不同图像位置和布局对于用户互动参与的影响。

2.1 数据收集

为了使数据具有代表性和推文的发布者尽可能来自多种兴趣领域,本文从2020年12月新浪微博官方发布的垂直领域影响力榜单(https://v6.bang.weibo.com/czv/domainlist)中选取了在时尚美妆、汽车、音乐、影视、游戏、军事等44个领域中前20位最有影响力用户,得到包含880位有影响力用户的列表。微博影响力的计算规则综合了内容质量、传播影响力和互动力指标,按比例采用归一化算法进行计算,各项所占比例分别为30%、30%和40%。然后从各个有影响力用户的粉丝列表中提取了前250页粉丝账号信息,经过去重后得到2 972 119条用户账号信息,每条数据包括用户ID、用户名称、关注数、粉丝数、发布推文数等字段。为了防止僵尸账号干扰数据分析结果的准确性,从中随机抽取了23 665名追随者数量大于100,发布超过100条推文且近一个月发布超过2条推文的用户。进而获取用户发布的图像推文,抓取每位用户在2020年12月1日到2021年1月1日期间共31天内发布的原创图像推文,最终得到108 296条有效图像推文数据,共包含277 922张图像,每条推文数据包括了发布者信息、图像文本描述、图像链接、点赞数、转发数、评论数等信息,依据图像链接下载推文中的图像数据并获得图像的位置次序信息。

2.2 单张图像的用户参与潜力计算

微博用户主要通过点赞、评论、转发3种方式进行图像推文的社交参与,由于图像推文的点赞、评论、转发具有右偏分布的特性,定义单图和多图推文的用户参与度UED为该条推文的点赞数thumbup、评论数comments和转发数retweets之和的对数。为避免3个加数均为0导致对三者之和取对数计算异常,取对数之前对和加0.1。推文i的用户参与度为

$\begin{array}{l} {\rm{UE}}{{\rm{D}}_i} = \ln ({\rm{thumbu}}{{\rm{p}}_i} + {\rm{comment}}{{\rm{s}}_i} + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\rm{retweet}}{{\rm{s}}_i} + 0.1). \end{array}$ (1)

然后,假设多图像推文中的每一张图像都有一定的“用户参与潜力”,即该张图像在特定上下文(文本、用户、时间等)下单独发布时期望获得的用户参与度。本文利用在单图推文数据集上训练的预测模型来评估多图像推文中各张图像的用户参与潜力。

用户参与潜力的预测模型基于XGBoost算法实现。XGBoost是一种基于集成学习原理Boosting的机器学习方法,以CART作为基分类器,通过向模型中添加CART拟合之前预测的残差,然后把所有树的预测结果相加作为最终的预测结果[40]。基于XGBoost算法的用户参与潜力为

${\rm{UE}}{{\rm{P}}_i} = {\hat y_i} = \sum\limits_{k = 1}^K {{f_k}\left( {{x_i}} \right)} .$ (2)

其中:xi为第i个样本的特征,K为基分类器的个数,fk (xi)为第k棵树预测值。XGBoost算法的学习目标是最小化第k棵树的残差。XGBoost使用2阶Taylor展开式来求解目标函数:

$ \begin{array}{*{20}{l}} {{\rm{Ob}}{{\rm{j}}^K} = \sum\limits_{i = 1}^n l \left( {{y_i}, \hat y_i^{(K - 1)} + {f_K}\left( {{x_i}} \right)} \right) + \sum\limits_{k = 1}^K \mathit{\Omega } \left( {{f_k}} \right) + c \approx }\\ {\;\;\;\;\;\;\sum\limits_{i = 1}^n {\left[ {{g_i}{f_K}\left( {{x_i}} \right) + \frac{1}{2}{h_i}f_K^2\left( {{x_i}} \right)} \right]} + \sum\limits_{k = 1}^K \mathit{\Omega } \left( {{f_k}} \right).} \end{array}$ (3)

其中:yi为真实值;$ {\hat y_i^{(K - 1)} + {f_K}\left( {{x_i}} \right)}$为预测值;l为损失函数,用于衡量真实值与预测值间的损失值;n为样本量;c为常数项;gi表示损失函数l(yi, $ {{\hat y}_i}$)的一阶导数;hi表示二阶导数;Ω是正则化项,Ω(fk)代表第k棵树的复杂度。

在63 773条单张图像推文组成的数据集中,80%数据用于训练,其余20%数据用于测试。模型的输入特征具有2 826个维度,包括图像、文本和社会情境3个方面。具体来说,使用在ImageNet数据集上预训练的深度学习模型ResNet-101[41]提取一个2 048维的图像表征;使用预训练的深度学习模型ERNIE [42]提取768维的文本表征,该模型在中文自然语言处理任务中表现较好。话题标签数和文本长度也被包括在文本特征中。然后,提取用户推文平均参与度、推文数量、粉丝数、被关注数、位置标签、用户性别、发布时间、星期数作为社会情境特征。

2.3 多个方向的图像位置效应评估

在微博平台中,不同数量的图像会被自适应调节为不同的布局模式进行呈现。例如图 1中,推文中的3张图像以单行三列形式呈现。本文据此构建了图像推文的布局类型与位置编码。

图 1 多图推文示例

图 2显示了微博平台中不同图像数量对应的图像布局模式以及位置对应编码,其中Num为布局模式包含的图像数,L、R、M、T、B和N分别为left、right、middle、top、bottom和none的简写。依据其呈现特征,将图像位置编码为(x, y), 其中xy分别表示水平位置和垂直位置,x∈{L, M, R, N},y∈{T, M, B, N}。具体编码规则为:对于水平位置,若位置左侧没图像且右侧有图像,则x=L;若位置右侧无图像且左侧有图像,则x=R;若位置左右侧均有图像,则x=M;若位置左右侧均无图像,则x=N;对于垂直位置,若位置上方没图像且下方有图像,则y=T;若位置下方没图像且上方有图像,则y=B;若位置上下方均有图像,则y=M;若位置上下方均无图像,则y=N。

图 2 不同图像数量的微博图像布局类型

由于多图推文各位置图像的用户参与潜力之间的多重共线性较强, 因而使用相关分析而非回归模型度量各个位置图像与用户参与度的关系。Pearson相关系数反映了2个随机变量的线性依赖关系,其值越接近1,相关性就越强[43]。每个位置图像所具有的用户参与潜力与推文的实际用户参与度之间的Pearson相关系数反映了各个位置图像的用户参与潜力与推文的用户参与度的关联程度。

然后,从水平、垂直和中间-边缘3个方向测算用户参与潜力与用户参与度关系的差异性,计算方法分别为:

$\begin{array}{l} {\rm{Horizon\_effec}}{{\rm{t}}_{{i}}}{\rm{ = }}\left| {\frac{{\rm{1}}}{L}\sum\limits_{l{\rm{ = 1}}}^L {{\rm{UE}}{{\rm{P}}_l}} {\rm{ - UE}}{{\rm{D}}_i}} \right| - \\ \qquad \qquad \left| {\frac{1}{R}\sum\limits_{r = 1}^R {{\rm{UE}}{{\rm{P}}_r}} - {\rm{UE}}{{\rm{D}}_i}} \right|, \end{array}$ (4)
$\begin{array}{l} {\rm{Vertical}}\_{\rm{effec}}{{\rm{t}}_i}{\rm{ = }}\left| {\frac{{\rm{1}}}{T}\sum\limits_{t{\rm{ = 1}}}^T {{\rm{UE}}{{\rm{P}}_t}} {\rm{ - UE}}{{\rm{D}}_i}} \right|{\rm{ - }}\\ \qquad \qquad \left| {\frac{1}{B}\sum\limits_{b = 1}^B {{\rm{UE}}{{\rm{P}}_b}} - {\rm{UE}}{{\rm{D}}_i}} \right|, \end{array}$ (5)
$\begin{array}{l} {\rm{Middle}}\_{\rm{effec}}{{\rm{t}}_i}{\rm{ = }}\left| {\frac{{\rm{1}}}{M}\sum\limits_{m{\rm{ = 1}}}^M {{\rm{UE}}{{\rm{P}}_m}} {\rm{ - UE}}{{\rm{D}}_i}} \right|{\rm{ - }}\\ \qquad \qquad \left| {\frac{1}{E}\sum\limits_{e = 1}^E {{\rm{UE}}{{\rm{P}}_e}} - {\rm{UE}}{{\rm{D}}_i}} \right|. \end{array}$ (6)

其中:Horizon_effecti为推文i的水平位置效应。UEPl和UEPr分别表示位于左侧位置l和右侧位置r上的图像的用户参与潜力,LR分别为位于左侧(x=L)和右侧(x=R)的图像数。$ {\frac{{\rm{1}}}{L}\sum\limits_{l{\rm{ = 1}}}^L {{\rm{UE}}{{\rm{P}}_l}} }$$ {\frac{1}{R}\sum\limits_{r = 1}^R {{\rm{UE}}{{\rm{P}}_r}} }$分别为位于左侧和右侧图像的用户参与潜力均值。Horizon_effecti描述了推文i在水平方向上位于左侧与右侧图像的用户参与潜力均值与推文的用户参与度UEDi距离关系的差异。当Horizon_effecti>0时,表明左侧图像的用户参与潜力与推文用户参与度的差异更大,即右侧图像的用户参与潜力更接近推文用户参与度,推文具有右侧效应;当Horizon_effecti<0时即为左侧效应;当Horizon_effecti=0时则两侧图像用户参与潜力与户参与度的差异相同,推文具有水平对称效应。

Vertical_effecti为推文i的垂直位置效应。UEPt和UEPb分别表示位于顶部位置t和底部位置b上的图像的用户参与潜力,TB分别为位于顶部(y=T)和底部(y=B)的图像数。$ {\frac{{\rm{1}}}{T}\sum\limits_{t{\rm{ = 1}}}^T {{\rm{UE}}{{\rm{P}}_t}} }$$ {\frac{1}{B}\sum\limits_{b = 1}^B {{\rm{UE}}{{\rm{P}}_b}} }$分别为位于顶部和底部的图像用户参与潜力均值。Vertical_effecti描述了推文i在垂直方向上位于顶部位置和底部位置图像的用户参与潜力与推文的用户参与度UEDi距离关系的差异。当Vertical_effecti>0时,底部图像的用户参与潜力与推文用户参与度差异更小,推文具有底部效应;当Vertical_effecti<0时则为顶部效应;当Vertical_effecti=0时则为垂直对称效应。

Middle_effecti为推文i的中间-边缘位置效应。UEPm和UEPe分别表示位于中间位置m和边缘位置e上的图像的用户参与潜力,M和E分别为位于中间(x=M或y=M)和边缘(x≠M且y≠M)的图像数。$ {\frac{{\rm{1}}}{M}\sum\limits_{m{\rm{ = 1}}}^M {{\rm{UE}}{{\rm{P}}_m}} }$$ {\frac{1}{E}\sum\limits_{e = 1}^E {{\rm{UE}}{{\rm{P}}_e}} }$分别为位于中间与边缘的图像用户参与潜力均值。Middle_effecti描述了推文i在中间-边缘方向上位于中间与边缘的图像用户参与潜力均值与推文的用户参与度UEDi距离关系的差异。当Middle_effecti>0时,边缘图像用户参与潜力与推文用户参与度差异更小,推文具有边缘效应;当Middle_effecti<0时则为中间效应;当Middle_effecti=0时则为中间边缘对称效应。

为在统计学意义上分析多图推文位置与用户参与度的关系,对各布局类型下推文的水平位置效应、垂直位置效应和中心位置效应执行Z检验。Z检验是一般用于大样本平均值差异性检验的方法,本文通过Z检验比较各效应值与0的差异性。

2.4 图像布局对用户参与潜力转化的影响评估

为评估图像布局在图像用户参与潜力向用户参与度转化的过程中发挥的作用,本文定义用户参与潜力转化度为

${\rm{Potential}}\_{\rm{transfe}}{{\rm{r}}_i}{\rm{ = }}\frac{{\rm{1}}}{N}\sum\limits_{j{\rm{ = 1}}}^N {\left( {{\rm{UE}}{{\rm{D}}_i}{\rm{ - UE}}{{\rm{P}}_j}} \right)} .$ (7)

Potential_transferi表示了多图推文i用户参与度中不能由图像(不包括图像位置与布局)、文本、社会情境因素所预测的部分。用户参与潜力转化度越大,则表明图像推文取得的真实用户参与度超出用户参与潜力所代表的参与度期望水平的程度越大。多元回归(MR)分析是检验一组自变量与单个因变量之间关系的一般系统。采用OLS准则的MR分析也被称为OLS回归[44]。本文采用OLS回归分析布局类型对用户参与潜力转化度的影响,回归模型可表示为

${\rm{Potential}}\_{\rm{transfe}}{{\rm{r}}_i}{\rm{ = }}{a_{\rm{0}}} + \sum\limits_{j{\rm{ = 1}}}^8 {{b_j}{\rm{layou}}{{\rm{t}}_{ij}} + {e_i}} .$ (8)

其中:自变量layoutij为虚拟变量,以布局类型1为参照,若推文i的布局类型为j则layoutij等于1,否则等于0;bj为自变量的系数,a0为截距项,ei为随机误差项。

3 研究结果 3.1 数据描述

数据集包括63 773条单图像推文和44 523条多图推文。由表 1可知,在随机选取的用户在2020年12月发送的多图推文中,布局2、9、3、4、6、5、7、8的推文数量占比分别为12.1%、10.4%、7.2%、5.3%、4.0%、1.0%、0.6%、0.5%,依次减小,这表明用户更偏好发送布局类型为2、9、3的推文。各类布局推文的最小用户参与度为-2.303即ln(0.1), 由各类布局的用户参与度的上四分位数普遍为-2.303可知大量推文为没有点赞、评论、转发的推文。在所有推文中,最高的用户参与度为12.330,为布局9的推文。布局7推文的用户参与度的均值最小,布局6的用户参与度的均值最大。

表 1 各类型布局推文的用户参与度描述
布局类型 推文数 均值 标准差 最小值 四分位数 最大值
25% 50% 75%
1 63 773 -0.265 2.068 -2.303 -2.303 0.095 1.131 11.448
2 13 122 0.331 2.132 -2.303 -2.303 0.742 1.808 10.798
3 7 843 0.507 2.148 -2.303 -2.303 0.742 1.960 11.454
4 5 691 0.707 2.150 -2.303 -2.303 0.742 2.092 10.777
5 1 092 0.624 2.210 -2.303 -2.303 0.742 1.960 9.074
6 4 305 0.995 2.230 -2.303 0.095 1.131 2.313 9.608
7 686 -0.284 2.227 -2.303 -2.303 0.095 1.411 9.499
8 536 0.857 2.345 -2.303 -2.303 1.131 2.407 8.761
9 11 248 0.856 2.398 -2.303 -2.303 0.742 2.407 12.330
全部推文 108 296 0.095 2.182 -2.303 -2.303 0.095 1.629 12.330

3.2 用户参与潜力分析

采用均方误差(MSE)、平均绝对误差(MAE)和Spearman相关系数(SRCC)评价模型预测效果,结果如表 2所示。社会情境特征是最有效的预测因素,表明用户、时间和地理位置特征在很大程度上决定了用户的参与度。

表 2 模型预测效果评估
训练模型所用特征类型 MSE MAE SRCC
图像特征 3.63 1.57 0.38
文本特征 3.30 1.50 0.45
社会情境特征 1.73 0.97 0.75
所有特征 1.56 0.94 0.77

3.3 多图推文的图像位置与用户参与的关系

图 3显示了不同布局的推文中每个图像位置的用户参与潜力与真实用户参与度的Pearson相关系数, 各相关系数均在0.001水平上显著,这表明各位置图像的用户参与潜力与推文用户参与度均存在关联。可以看到,在布局2~5中,相关系数最大的位置均位于图像右侧。布局6中相关系数最大的位置位于中间和底部。布局7中相关系数最大的位置位于边缘。布局8中相关系数较大的位置是围绕中心的4个位置。布局9各位置的相关系数均等同。各位置的相关系数虽略有差异,但差异的方向性以及显著程度仍需下一步的统计检验来判断。

注:***表示在0.001水平显著 图 3 图像位置与用户参与度的相关性

表 3显示了Z检验的结果,不满足位置效应检验条件的布局的结果以“-”填充。布局2(Z= 8.211,P<0.001)、4(Z=5.051,P<0.001)、5(Z=2.005,P<0.05)和8(Z=5.154,P<0.001)的Z均显著大于0,这表明3类布局均具有显著的右侧效应,右侧位置图像与用户参与度更接近;其余布局推文的Z与0的差异不显著,表现为水平对称效应。布局6(Z=2.577,P<0.05)和布局8(Z= 2.344,P<0.05)的Z均显著大于0,这表明二者具有底部效应;其余布局推文的Z与0的差异不显著,表现为垂直对称效应。在中间效应的检验结果中,布局3具有显著的边缘效应(Z=4.327,P<0.001), 布局8具有显著的中间效应(Z=-2.783,P<0.01),其余布局则表现为中间边缘对称效应。

表 3 多图推文的图像位置效应的Z检验结果
布局类型 水平效应检验结果 垂直效应检验结果 中间效应检验结果
Z P Z P Z P
2 8.211 0.000
3 0.640 0.522 4.327 0.000
4 5.051 0.000 1.946 0.052
5 2.005 0.045 1.153 0.249 0.996 0.319
6 1.904 0.057 2.577 0.010 0.445 0.656
7 0.961 0.337 1.140 0.254 1.571 0.116
8 5.154 0.000 2.344 0.019 -2.783 0.005
9 0.956 0.339 0.471 0.638 0.439 0.660

3.4 多图推文布局与用户参与潜力转化的关系

用户参与潜力转化度的回归分析结果如表 4所示。在对模型进行估计之前,对样本数据进行了异方差的检验。White检验的结果显示P<0.001, 拒绝同方差的原假设。因此, 在对模型估计时采用了稳健标准误,使模型在异方差存在的情况下有效地估计系数的显著性。回归模型显著(F=60.51,P<0.001),调整后的R2为0.006,表明模型对用户参与潜力转化度的解释力较差。布局2显著正向影响用户参与潜力转化度(B=0.080,P<0.001),即使用布局2比布局1能够使用户参与潜力转化度平均增加0.08;布局3显著正向影响用户参与潜力转化度(B=0.122,P<0.001);布局4显著正向影响用户参与潜力转化度(B=0.204,P<0.001);布局5显著正向影响用户参与潜力转化度(B= 0.224,P<0.001);布局6显著正向影响用户参与潜力转化度(B=0.298,P<0.001);布局7显著负向影响用户参与潜力转化度(B=-0.138,P<0.01),即使用布局7比布局1能够使用户参与潜力转化度减少0.138,不利于图像用户参与潜力向用户参与度的转化;布局8显著正向影响用户参与潜力转化度(B=0.326,P<0.001);布局9对用户参与潜力转化度的影响不显著(B=-0.005,P>0.05)。

表 4 用户参与潜力转化度的OLS回归结果
变量 非标准化系数B 稳健标准误 t P 95%置信区间
截距项 0.002 0.003 0.760 0.450 [-0.003 0.008]
布局2 0.08 0.012 6.680 0 [0.056 0.103]
布局3 0.122 0.016 7.690 0 [0.091 0.153]
布局4 0.204 0.018 11.680 0 [0.17 0.239]
布局5 0.224 0.041 5.470 0 [0.144 0.304]
布局6 0.298 0.020 14.800 0 [0.258 0.337]
布局7 -0.138 0.052 -2.650 0.008 [-0.241-0.036]
布局8 0.326 0.069 4.700 0 [0.190 0.462]
布局9 -0.005 0.017 -0.320 0.750 [-0.039 0.028]

4 讨论

本文搜集社交媒体图像信息,通过建立图像用户参与潜力的预测模型,利用相关分析、Z检验和OLS回归从用户参与角度检验多图推文种图像位置与布局效应的存在,从而为社交媒体多图内容及其布局位置属性研究提供参考。研究结果表明,多图推文中各个位置方向与用户参与度的关系具有一定差异;多图推文的图像布局模式相较单图推文对用户参与潜力的转化具有增强或抑制作用。对研究结果的具体讨论如下。

4.1 多图推文中图像的位置效应

本文发现,推文中的各个位置图像均与推文的用户参与度具有显著相关性,图像的位置效应具有方向性。例如,与左侧位置相比,右侧位置图像与用户参与度的联系更紧密,这在布局2、4、5、8中最为明显。垂直方向上呈现一定的底部效应,这在布局6和8中表现明显。布局3和8分别表现为边缘效应和中间效应。文[45]发现顺序位置效应产生的原因是阅读/写作方向和“越多越右”等空间隐喻。因此,对图像位置效应的一种可能解释与图像浏览顺序和首因或近因效应有关,即可能是由于用户在特定布局下注意某些位置图像的习惯和先后顺序差异影响了各个位置图像与推文真实参与度的关联性。这启示信息发布者可将高用户参与潜力的重要图像放置在与用户参与度关系紧密的位置以提高推文的用户参与度。

同时,在水平、垂直和中间-边缘方向上均有半数及以上的布局表现为对称效应,这表明即便各个位置与用户参与潜力的相关性不等同,位置间的差异性并不显著,即图像放置位置的影响是有限的。由图像的用户参与潜力预测模型可知,图像用户参与潜力的水平首先由用户在社交平台上的影响力等情境因素所决定,推文内容只在较小程度上具有预测作用,而位置和布局只能影响图像内容的排列形式,这决定了图像位置效应和布局效应的有限性。

4.2 多图推文中的图像布局效应

回归分析的结果表明,图像的用户参与潜力向推文用户参与度的转化受到布局的影响。布局2、3、4、5、6、8能够正向促进图像的用户参与潜力转化,使得图像推文可能实现超出其内容潜力的用户参与度;但是布局7具有负面影响,布局9与单图推文无显著差异。这可能与用户对特定布局材料的浏览行为有关系。这说明添加图像和改变布局具有一定规模效应,增加了用户参与潜力的转化。但是,随着图像数量的继续增加,位置效应的相关分析表明,布局6之后,代表位置与用户参与度关联性的相关系数水平随图像数量增加而降低,即单张图像与推文用户参与度的关联性削弱,继续添加图像的边际效应降低。认知负荷理论(cognitive load theory)可以为此提供解释,该理论强调新信息最初都是由工作记忆加工的,工作记忆具有容量和持续时间的局限性,给定材料中的冗余信息会增加额外的认知负荷,干扰认知过程并降低学习效果[46]。图像数量增加可能造成信息冗余,分散了用户对每张图像的注意力,从而限制了每张图像的用户参与潜力的表现。

此外,用户的布局使用习惯和实际的布局效应并不匹配,数据描述的结果表明,用户大量发送单图推文,更偏好发送布局2和布局9的推文,但是布局9的用户参与潜力转化作用并非最好,布局8、布局6等对用户参与潜力转化具有较强促进作用的布局被相对忽视了。因此,当信息发布者以用户参与为导向发布推文内容时,可以考虑在有限范围内增加图像数量。

5 结论

本文依托真实社交媒体数据证明社交媒体多图推文中位置与布局属性对用户参与度的影响。设定每张图像具有一定的用户参与潜力,以单图推文数据为基础建立预测模型对多图推文各张图像的参与潜力进行评估,并建立相应指标对多图推文中对位置与布局效应进行检验。研究发现,在新浪微博平台中,右侧位置效应在包含2、4、5和8张图像的推文中被证实存在,底部位置效应在包含6、8张图像的推文中被证实存在,边缘效应和中间效应分别在包含3张和8张图像的推文中得到证实,其他情况下主要为对称效应;布局2、3、4、5、6、8相对于单张图像能够正向促进图像的用户参与潜力转化为用户参与度,布局7具有负面影响,布局9与单图推文对用户参与潜力的转化作用无显著差异。

本文通过设计图像的“用户参与潜力”这一概念将机器学习在预测精度上的优势与线性回归模型的可解释性相结合,为人工智能技术在社交媒体用户行为研究中的应用提供了思路。在实践上,该文发现的图像位置对用户参与行为的作用规律可用于指导危机公共、产品营销、旅游管理等多个场景下的图像组织与发布行为,通过调整关键图像的位置与布局组合,提高用户黏性。

本文的局限主要包括:研究数据依托于微博平台,不同社交媒体平台的多图推文呈现方式具有差异,因此所得出的结论有待于在其它社交媒体平台以及更具体的社交使用场景中进行验证;因为所使用的用户行为数据是观察性的,未能有效解释行为背后的用户心理动机;此外,并未考虑多个图像位置对用户参与度的交互作用。下一步可以通过问卷调查、眼动实验等方式验证用户对图像信息选择性接收过程与内在心理动机,探究社交媒体中更加复杂的图像位置交互模式。

参考文献
[1]
KEIB K, ESPINA C, LEE Y-I, et al. Picture this: The influence of emotionally valenced images, on attention, selection, and sharing of social media news[J]. Media Psychology, 2018, 21(2): 202-221. DOI:10.1080/15213269.2017.1378108
[2]
STREKALOVA Y A, KRIEGER J L. A picture really is worth a thousand words: Public engagement with the National Cancer Institute on social media[J]. Journal of Cancer Education, 2017, 32(1): 155-7. DOI:10.1007/s13187-015-0901-5
[3]
PARK H, LEE J. Do private and sexual pictures receive more likes on Instagram?[C]//2017 International Conference on Research and Innovation in Information Systems (ICRIIS). Langkawi, Malaysiz: IEEE Press, 2017: 1-6.
[4]
ARGYRIS Y A, WANG Z, KIM Y, et al. The effects of visual congruence on increasing consumers' brand engagement: An empirical investigation of influencer marketing on instagram using deep-learning algorithms for automatic image classification[J]. Computers in Human Behavior, 2020, 106443.
[5]
BRODIE R J, ILIC A, JURIC B, et al. Consumer engagement in a virtual brand community: An exploratory analysis[J]. Journal of Business Research, 2013, 66(1): 105-14. DOI:10.1016/j.jbusres.2011.07.029
[6]
KHAN M L. Social media engagement: What motivates user participation and consumption on YouTube?[J]. Computers in Human Behavior, 2017, 66: 236-247. DOI:10.1016/j.chb.2016.09.024
[7]
OELDORF-HIRSCH A, SUNDAR S S. Social and technological motivations for online photo sharing[J]. Journal of Broadcasting & Electronic Media, 2016, 60(4): 624-642.
[8]
ZAILSKAIT AE·U -JAKŠT AE·U L, OSTREIKA A, JAKŠTAS A, et al. Brand communication in social media: The use of image colours in popular posts[C]//2017 40th International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO). Opatija, Croatia: IEEE Press, 2017: 1373-1378.
[9]
CHANG Y P, LI Y, YAN J, et al. Getting more likes: The impact of narrative person and brand image on customer-brand interactions[J]. Journal of the Academy of Marketing Science, 2019, 47(6): 1027-1045. DOI:10.1007/s11747-019-00632-2
[10]
PENG Y, JEMMOTT Ⅲ J B. Feast for the eyes: Effects of food perceptions and computer vision features on food photo popularity[J]. International Journal of Communication, 2018, 12: 313-336.
[11]
PENG Y L. What makes politicians' Instagram posts popular? Analyzing social media strategies of candidates and office holders with computer vision[J]. The International Journal of Press/Politics, 2021, 26(1): 143-166. DOI:10.1177/1940161220964769
[12]
LINDELL A K. Left cheek poses garner more likes: The effect of pose orientation on Instagram engagement[J]. Laterality, Brain and Cognition, 2019, 24(5): 600-613. DOI:10.1080/1357650X.2018.1556278
[13]
LOWE-CALVERLEY E, GRIEVE R. Thumbs up: A thematic analysis of image-based posting and liking behaviour on social media[J]. Telematics and Informatics, 2018, 35(7): 1900-1913. DOI:10.1016/j.tele.2018.06.003
[14]
BELL B T, CASSARLY J A, DUNBAR L. Selfie- objectification: Self-objectification and positive feedback ("likes") are associated with frequency of posting sexually objectifying self-images on social media[J]. Body Image, 2018, 26: 83-89. DOI:10.1016/j.bodyim.2018.06.005
[15]
MANCOSU M, BOBBA G. Using deep-learning algorithms to derive basic characteristics of social media users: The Brexit campaign as a case study[J]. PLoS One, 2019, 14(1): e0211013. DOI:10.1371/journal.pone.0211013
[16]
STEINERT-THRELKELD Z C. The future of event data is images[J]. Sociological Methodology, 2019, 49(1): 68-75. DOI:10.1177/0081175019860238
[17]
KHOSLA A, DAS SARMA A, HAMID R. What makes an image popular?[C]//Proceedings of the 23rd International Conference on World Wide Web. New York: ACM Press, 2014: 867-876.
[18]
LÜ J N, LIU W, ZHANG M, et al. Multi-feature fusion for predicting social media popularity[C]//Proceedings of the 25th ACM international conference on Multimedia. New York, NY, USA: ACM, 2017: 1883-1888.
[19]
GELLI F, URICCHIO T, BERTINI M, et al. Image popularity prediction in social media using sentiment and context features[C]//Proceedings of the 23rd ACM International Conference on Multimedia. New York, NY, USA: ACM Press, 2015: 907-910.
[20]
HIDAYATI S C, CHEN Y L, YANG C L, et al. Popularity meter: An influence-and aesthetics-aware social media popularity predictor[C]//Proceedings of the 25th ACM international conference on Multimedia. New York, NY, USA: ACM Press, 2017: 1918-1923.
[21]
DING K, WANG R, WANG S. Social media popularity prediction: A multiple feature fusion approach with deep neural networks[C]//Proceedings of the 27th ACM International Conference on Multimedia. New York, NY, USA: ACM Press, 2019: 2682-2686.
[22]
BENYON D. Designing user experience[M]. Amsterdam: Pearson UK, 2019.
[23]
BOLLINI L. Beautiful interfaces. From user experience to user interface design[J]. The Design Journal, 2017, 20(S1): 89-101.
[24]
BORODITSKY L. Metaphoric structuring: Understanding time through spatial metaphors[J]. Cognition, 2000, 75(1): 1-28. DOI:10.1016/S0010-0277(99)00073-6
[25]
LAKOFF G, JOHNSON M. Metaphors we live by[M]. Chicago, IL, USA: University of Chicago Press, 2008.
[26]
MEIER B P, ROBINSON M D. Why the sunny side is up: Associations between affect and vertical position[J]. Psychological Science, 2004, 15(4): 243-247. DOI:10.1111/j.0956-7976.2004.00659.x
[27]
WEGER U W, PRATT J. Time flies like an arrow: Space-time compatibility effects suggest the use of a mental timeline[J]. Psychonomic Bulletin & Review, 2008, 15(2): 426-430.
[28]
CHANDON P, HUTCHINSON J W, BRADLOW E T, et al. Does in-store marketing work? Effects of the number and position of shelf facings on brand attention and evaluation at the point of purchase[J]. Journal of Marketing, 2009, 73(6): 1-17. DOI:10.1509/jmkg.73.6.1
[29]
VALENZUELA A, RAGHUBIR P, MITAKAKIS C. Shelf space schemas: Myth or reality?[J]. Journal of Business Research, 2013, 66(7): 881-888. DOI:10.1016/j.jbusres.2011.12.006
[30]
FENKO A, DE VRIES R, VAN ROMPAY T. How strong is your coffee? The influence of visual metaphors and textual claims on consumers' flavor perception and product evaluation[J]. Frontiers in Psychology, 2018, 9: 53. DOI:10.3389/fpsyg.2018.00053
[31]
MACHIELS C J A, ORTH U R. Verticality in product labels and shelves as a metaphorical cue to quality[J]. Journal of Retailing and Consumer Services, 2017, 37: 195-203. DOI:10.1016/j.jretconser.2017.02.009
[32]
HURTIENNE J. How cognitive linguistics inspires HCI: Image schemas and image-schematic metaphors[J]. International Journal of Human-Computer Interaction, 2017, 33(1): 1-20. DOI:10.1080/10447318.2016.1232227
[33]
PUNCHOOJIT L, HONGWARITTORRN N. Usability studies on mobile user interface design patterns: A systematic literature review[J]. Advances in Human-Computer Interaction, 2017(16): 1-22.
[34]
PEARSON R, VAN SCHAIK P. The effect of spatial layout of and link colour in web pages on performance in a visual search task and an interactive search task[J]. International Journal of Human-Computer Studies, 2003, 59(3): 327-353. DOI:10.1016/S1071-5819(03)00045-4
[35]
TODI K, JOKINEN J, LUYTEN K, et al. Individualising graphical layouts with predictive visual search models[J]. ACM Transactions on Interactive Intelligent Systems, 2020, 10(1): 1-24.
[36]
CHEN S, LI S H, CHEN S M, et al. R-map: A map metaphor for visualizing information reposting process in social media[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(1): 1204-1214. DOI:10.1109/TVCG.2019.2934263
[37]
KAHN B E. Using visual design to improve customer perceptions of online assortments[J]. Journal of Retailing, 2017, 93(1): 29-42. DOI:10.1016/j.jretai.2016.11.004
[38]
VALENTINI C, ROMENTI S, MURTARELLI G, et al. Digital visual engagement: Influencing purchase intentions on Instagram[J]. Journal of Communication Management, 2018, 22(4): 362-381. DOI:10.1108/JCOM-01-2018-0005
[39]
RZAYEV R, WO Az' niak P W, Dingler T, et al. Reading on smart glasses: The effect of text position, presentation type and walking[C]//Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. New York, NY, USA: ACM, 2018: 1-9.
[40]
Chen T, Guestrin C. Xgboost: A scalable tree boosting system[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, NY, USA: ACM, 2016: 785-794.
[41]
HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE Press, 2016: 770-778.
[42]
SUN Y, WANG S H, LI Y K, et al. Ernie: Enhanced represen- tation through knowledge integration[Z/OL]. (2019-04-19)[2021-04-01]. https://arxiv.org/abs/1904.09223.
[43]
BENESTY J, CHEN J, HUANG Y, et al. Pearson correlation coefficient[M]//Noise reduction in speech processing. Berlin: Springer, Berlin, Heidelberg, 2009: 38-40.
[44]
OLIVE D J. Multiple linear regression[M]//Linear regression. Switzerland: Springer, Cham, 2017: 17-83.
[45]
ZHOU D, ZHONG H, DONG W, et al. The metaphoric nature of the ordinal position effect[J]. Quarterly Journal of Experimental Psychology, 2019, 72(8): 2121-2129. DOI:10.1177/1747021819832860
[46]
MUTLU-BAYRAKTAR D, COSGUN V, ALTAN T. Cognitive load in multimedia learning environments: A systematic review[J]. Computers & Education, 2019, 141: 103618.