#助睿数智 #商业数据分析 #互联网数据分析 #大数据 #用户行为数据解读目录一、前言1.1 背景与意义1.2 分析目的二、实验介绍2.1 实验平台2.2 数据概况2.3 实验核心内容三、实验详细流程3.1 创建实验项目3.2 日志数据结构化转换3.2.1 数据资源获取与目录创建3.2.2 建立数据源连接3.2.3 新建工作流并创建原始行为日志数据表3.2.4 批量采集本地日志文件3.2.5 Java代码组件配置与日志结构化解析3.2.6 字段筛选与数据规整3.2.7 结构化数据入库配置3.2.8 工作流执行与数据校验3.3 数据分析方向确定3.3.1 创建进程统计数据表3.3.2 进程用户规模统计加工3.3.3 可视化分析确定核心场景3.4 分析方案设计与目标数据表创建3.5 数据清洗、聚合与关联加工3.5.1 读取原始行为明细数据3.5.2 精简业务字段3.5.3 筛选主流浏览器行为数据3.5.4 计算浏览器页面停留时长3.5.5 规整字段与过滤无效数据3.5.6 提取时间维度衍生字段3.5.7 基础粒度数据聚合压缩3.5.8 分支A生成浏览器市场格局统计表3.5.9 分支B生成浏览器时段活跃度统计表3.5.10 整体执行与数据校验四、实验遇到的问题与解决方法4.1 分组聚合统计结果出错问题4.2 大批量数据任务运行卡顿、超时报错4.3 字段映射不匹配导致数据入库失败五、实验总结一、前言1.1 背景与意义用户日常使用电脑时软件运行、网页浏览等操作会不断产生行为日志。这类数据属于半结构化数据没有固定的行列格式文件分散、字段灵活难以直接导入数据库分析。但它们真实记录了用户的上网偏好、软件习惯和活跃时段具有很高的挖掘价值。半结构化日志解析、数据规整与指标聚合是数据分析的基础能力也是用户画像、行为预测、竞品分析等场景的前置步骤。本次实验基于首届中国互联网数据挖掘竞赛公开数据集在助睿在线实验平台与Uniplore零代码大数据平台上完成全流程数据加工贴近企业真实ETL场景。数据集覆盖1000名用户连续4周的电脑使用行为共800余万条原始记录可支撑用户行为统计、市场格局分析、流失预测等多种挖掘任务。数据集分享链接: https://pan.baidu.com/s/1eFuCvJq45qgDZSA5hxExaQ 提取码: vmux1.2 分析目的认识半结构化数据了解数据集架构、文件命名规则、字段分隔方式和各字段含义。掌握ETL平台操作熟练使用助睿ETL平台完成日志批量采集、代码解析、数据清洗与结构化入库。掌握预处理方法包括空值处理、字段衍生、行间计算、分组聚合等构建规范的分析指标体系。确定分析方向通过统计与可视化筛选核心场景完成浏览器覆盖率、时段活跃度等指标加工。具备全流程能力独立完成项目创建、工作流搭建、组件配置、数据入库与校验等完整操作。本次实验操作中数据流转如下二、实验介绍2.1 实验平台本次实验使用助睿在线实验平台采用拖拽式操作无需编写复杂代码即可完成数据采集、清洗、加工、聚合、入库全流程适配教学实训与企业数据加工场景。2.2 数据概况数据集来自首届中国互联网数据挖掘竞赛解压后约825MB含800余万条行为记录覆盖1000名用户在4个月中各1周的电脑使用数据。数据集包含两部分通过user_id关联模块内容说明behavior文件夹TXT行为日志一个文件对应一次开机后的全部操作行为demographic.csv用户属性表记录性别、年龄、职业、学历、收入等信息日志采用双分隔符规则分隔字段名与值[]分隔不同字段。核心字段如下字段含义示例T距离开机秒数177P进程名360se.exeI进程ID5572U访问URL360.cnW窗口句柄30378V程序版本号4,1,6,6N程序名称360安全浏览器C开发公司360.cn2.3 实验核心内容本次实验整体分为三大核心阶段循序渐进完成日志数据全流程加工处理阶段一项目搭建与数据导入——创建专属实验项目导入公共空间样本数据完成实验环境初始化。阶段二半结构化日志结构化转换——通过自定义Java代码解析原始日志完成字段拆分、数据规整与结构化入库生成标准行为明细数据表。阶段三数据深度加工与场景筛选——通过数据统计与可视化分析锁定浏览器核心分析场景完成数据清洗、时长计算、时段维度拆分、多维度聚合最终生成浏览器用户覆盖统计、时段活跃度统计两张核心业务数据表。三、实验详细流程3.1 创建实验项目操作步骤在数据集成页面点击新建项目项目名称为“互联网用户行为日志数据加工”完成项目初始化创建。项目创建完成后点击页面右上角“…”更多选项选择**“打开项目”**进入项目专属操作工作台。3.2 日志数据结构化转换3.2.1 数据资源获取与目录创建在项目工作台左侧菜单栏点击“文件库”新建目录“互联网用户行为日志数据集”。页面顶部“公共空间”选项选择对应数据的“导出”在导出路径选择弹窗中选中刚刚创建的“互联网用户行为日志数据集”目录。点击确定完成单批次数据导出重复上述操作将公共空间内全部20个实验所需TXT日志样本文件逐一导出至目标目录完成实验数据本地化存储。3.2.2 建立数据源连接本次实验可直接复用往期实训已配置完成的“团队私有数据库”连接无需重复新建数据源。3.2.3 新建工作流并创建原始行为日志数据表新建转换工作流命名为“创建原始行为日志数据表”。在左侧组件库中找到“执行一个SQL脚本”组件拖拽至空白画布中心位置完成组件添加。数据库连接选项选择“团队私有数据库”。在脚本输入框中粘贴预设建表SQL语句创建behavior_events用户行为事件明细表CREATETABLEbehavior_events(idBIGINTAUTO_INCREMENTPRIMARYKEYCOMMENT自增主键,session_idVARCHAR(255)COMMENT会话唯一ID,user_idVARCHAR(100)COMMENT用户ID,session_start_timeVARCHAR(50)COMMENT会话开始时间,event_secondsINTCOMMENT事件发生秒数,process_nameVARCHAR(255)COMMENT进程名称,process_idVARCHAR(100)COMMENT进程ID,urlTEXTCOMMENT访问网址,addr_handleVARCHAR(255)COMMENT地址栏句柄,tab_handleVARCHAR(255)COMMENT标签页句柄,browser_versionVARCHAR(100)COMMENT浏览器版本,window_handleVARCHAR(255)COMMENT窗口句柄,app_nameVARCHAR(255)COMMENT程序名称,company_nameVARCHAR(255)COMMENT开发公司,source_fileVARCHAR(255)COMMENT原始日志文件名,create_timeTIMESTAMPDEFAULTCURRENT_TIMESTAMPCOMMENT入库时间,INDEXidx_session_id(session_id),INDEXidx_user_id(user_id))COMMENT用户行为事件明细表;脚本配置完成后保存所有参数点击工作流执行按钮等待脚本执行完成。3.2.4 批量采集本地日志文件新建空白转换工作流命名为“行为日志数据转为结构化数据”。在组件库中拖拽“获取文件名”组件至画布用于批量读取本地日志文件路径与名称。点击“浏览文件”按钮选中“互联网用户行为日志数据集”点击“增加”将目录路径添加至读取列表完成批量日志文件采集配置。3.2.5 Java代码组件配置与日志结构化解析在组件库中拖拽“Java代码”组件至画布。双击Java代码组件粘贴本次实验的日志解析自定义代码。代码核心逻辑如下// 全局变量定义StringpathField;StringshortFilenameField;publicbooleanprocessRow()throwsHopException{if(first){pathFieldfilename;shortFilenameFieldshort_filename;firstfalse;}Object[]rgetRow();if(rnull){setOutputDone();returnfalse;}// 获取文件路径和文件名Stringpathget(Fields.In,pathField).getString(r);Stringshort_filenameget(Fields.In,shortFilenameField).getString(r);// 解析文件名提取用户ID和开机时间Stringuser_id;Stringl_start;if(short_filename!null){Stringnameshort_filename.replace(.txt,);String[]partsname.split(_);if(parts.length3){user_idparts[0];l_startparts[1] parts[2].replace(-,:);}}Stringsession_iduser_id_l_start;// 读取文件内容并解析行为记录java.io.BufferedReaderbrnull;try{brnewjava.io.BufferedReader(newjava.io.FileReader(path));Stringline;// 跳过前两行Last和L_Startbr.readLine();br.readLine();while((linebr.readLine())!null){if(line.trim().isEmpty()){continue;}// 按[]分隔符拆分字段按提取键值对String[]kvPairsline.split(\\[\\]);// ... 逐一提取T、P、I、U、V、W、N、C等核心字段// 创建输出行并填充字段值Object[]outRowcreateOutputRow(r,data.outputRowMeta.size());get(Fields.Out,session_id).setValue(outRow,session_id);// ... 依次设置各字段值putRow(data.outputRowMeta,outRow);}}catch(Exceptione){logError(e.getMessage(),e);}finally{if(br!null){br.close();}}returntrue;}在组件底部字段配置表格中右键插入空白行依次添加session_id、user_id、l_start、t、p、i、u、a、b、v、w、n、c、source_file所有输出字段统一设置为String数据类型。3.2.6 字段筛选与数据规整在组件库拖拽“字段选择”组件至画布。双击字段选择组件切换至**“移除”配置标签页右键空白处选择“获取字段”**自动读取上一步输出的所有字段。批量选中系统自带的冗余字段、无效空字段右键删除选中行仅保留业务有效字段减少无效数据对后续运算的干扰。3.2.7 结构化数据入库配置拖拽“表输出”组件至画布。双击表输出组件数据库连接选择“团队私有数据库”。勾选“裁剪表”和“指定数据库字段”手动匹配工作流临时字段与behavior_events数据表字段确保一一对应。3.2.8 工作流执行与数据校验点击画布顶部执行按钮点击启动运行工作流。实时查看底部运行日志观察组件运行状态确认所有组件均显示运行成功、无报错信息。切换至“元数据”标签页右键点击“团队私有数据库”选择“加载元数据”同步最新数据表结构与数据。进入数据探查页面展开数据库目录双击打开behavior_events数据表切换至查询标签页预览表内数据。3.3 数据分析方向确定3.3.1 创建进程统计数据表新建转换工作流并命名为“创建进程统计表”拖拽“执行一个SQL脚本”组件至画布。选择团队私有数据库连接输入建表SQL语句CREATETABLEprogram_stats(program_nameVARCHAR(255)NOTNULLCOMMENT程序/软件名称,user_countINTNOTNULLCOMMENT使用用户数);进入元数据配置页面双击团队私有数据库勾选“使用结果流”参数适配大数据量运算场景避免运行报错。执行工作流完成进程统计表的创建与初始化。3.3.2 进程用户规模统计加工新建转换工作流“统计进程用户规模”拖拽“表输入”组件读取behavior_events明细表全量数据。拖拽“字段选择”组件连接表输入组件移除所有无关字段仅保留user_id、process_name两个统计核心字段。拖拽“替换NULL值”组件配置process_name字段空值替换规则将所有空值统一替换为“未知”规避空值分组统计异常。拖拽“排序记录”组件设置排序字段为process_name升序排列数据保证后续分组聚合结果精准。拖拽“分组”组件以process_name为分组依据新增聚合指标user_count统计每组唯一user_id的数量即对应软件的使用用户数。拖拽**“表输出”**组件连接分组组件配置数据库连接与字段映射勾选裁剪表将统计数据落地至program_stats表执行工作流完成数据统计。3.3.3 可视化分析确定核心场景进入“助睿BI”可视化模块点击数据集管理新建数据集命名为“进程用户数据统计”。数据源选择团队私有数据库将program_stats数据表拖拽至数据集画布并保存发布。图表类型选择水平条图绑定刚创建的统计数据集。将program_name字段拖拽至Y轴、user_count字段拖拽至X轴设置X轴数据降序排序。预览可视化图表对比各类软件用户覆盖量发现浏览器类进程chrome.exe、360chrome.exe、sogouexplorer.exe等用户数量远高于办公、社交软件且浏览器日志包含URL维度可挖掘用户上网偏好最终锁定浏览器使用行为为本次实验核心分析场景。3.4 分析方案设计与目标数据表创建结合浏览器核心分析场景规划多维度分析体系涵盖浏览器市场格局、用户画像差异、时段使用习惯、用户迁移与流失预测等业务方向。本次实验先完成前两张核心数据表的加工目标数据表规划输出表名内容粒度browser_coverage每个浏览器的用户数、总使用时长每个浏览器一行browser_hourly每个浏览器按小时统计活跃用户数浏览器 × 小时新建转换工作流通过SQL脚本创建browser_coverage浏览器覆盖统计表CREATETABLEbrowser_coverage(browser_nameVARCHAR(50)NOTNULLCOMMENT浏览器进程名,user_countINTNOTNULLCOMMENT使用用户数去重,total_duration_secBIGINTNOTNULLCOMMENT总使用时长秒)ENGINEInnoDBDEFAULTCHARSETutf8mb4COMMENT浏览器用户覆盖率与总时长;再新建转换工作流通过SQL脚本创建browser_hourly浏览器时段活跃度统计表CREATETABLEbrowser_hourly(browser_nameVARCHAR(50)NOTNULLCOMMENT浏览器进程名,hourTINYINTNOTNULLCOMMENT小时0-23,active_user_countINTNOTNULLCOMMENT活跃用户数,PRIMARYKEY(browser_name,hour))ENGINEInnoDBDEFAULTCHARSETutf8mb4COMMENT浏览器按小时活跃用户数;分别执行两个建表工作流确认两张业务分析数据表创建成功为后续指标聚合落地提供存储载体。3.5 数据清洗、聚合与关联加工3.5.1 读取原始行为明细数据新建专属转换工作流命名为“互联网用户行为日志数据清洗抽取”。拖拽“表输入”组件绑定团队私有数据库读取behavior_events数据表的全量明细数据作为本次深度加工的原始数据源。3.5.2 精简业务字段拖拽“字段选择”组件承接表输入组件的全量数据。获取全部字段后批量删除冗余无用字段仅保留session_id、user_id、session_start_time、process_name、url、event_seconds六大核心分析字段简化数据体量。3.5.3 筛选主流浏览器行为数据拖拽“过滤记录”组件搭建双输出链路匹配数据输出至排序组件不匹配数据输出至空操作组件。设置过滤条件采用IN LIST匹配规则限定process_name为主流浏览器进程名称iexplore.exe;360chrome.exe;360se.exe;chrome.exe;sogouexplorer.exe;QQBrowser.exe通过该规则精准过滤所有非浏览器行为数据仅保留浏览器使用记录聚焦核心分析场景。3.5.4 计算浏览器页面停留时长排序预处理拖拽排序组件按session_id会话ID、event_seconds行为秒数升序排序保证同一会话内行为记录时序准确。行间数据提取添加“分析查询”组件以session_id为分组依据获取同一会话下一条记录的event_seconds生成next_event_seconds新字段。时长计算添加“计算器”组件设置计算公式为next_event_seconds - event_seconds生成duration_sec页面停留时长字段精准统计单次浏览器窗口使用时长。3.5.5 规整字段与过滤无效数据再次使用字段选择组件精简字段为user_id、process_name、session_start_time、url、duration_sec优化数据结构。添加过滤记录组件设置筛选条件为duration_sec 0剔除时长为0或负数的无效记录规避末尾无后续行为的脏数据保障数据有效性。3.5.6 提取时间维度衍生字段字符串截取使用“剪切字符串”组件从session_start_time时间字段中截取年月日日期信息用于按日维度统计。格式标准化通过字段选择组件将字符串类型的时间数据转换为标准Date时间格式适配时间运算规则。小时维度提取使用计算器组件从标准时间中提取0-23的小时数值生成独立hour字段支撑时段活跃度分析。3.5.7 基础粒度数据聚合压缩再次通过排序组件按照用户、浏览器、日期、小时维度排序数据为分组聚合做预处理。拖拽分组组件按用户、日期、浏览器、小时多维度分组聚合生成精细化的用户行为明细数据压缩原始数据粒度适配业务分析需求。3.5.8 分支A生成浏览器市场格局统计表新增独立分组组件仅以process_name浏览器进程名作为唯一分组字段。配置两项聚合指标user_count用户ID去重计数统计各浏览器覆盖用户规模。total_duration_sec停留时长求和统计各浏览器总使用时长。配置表输出组件绑定browser_coverage数据表映射字段并开启裁剪表功能执行工作流完成浏览器市场格局数据落地。3.5.9 分支B生成浏览器时段活跃度统计表新增排序组件按process_name、hour双字段升序排序保证时段分组准确。拖拽分组组件以浏览器名称、使用小时为分组依据聚合统计每个时段的活跃用户数量active_user_count。配置表输出组件绑定browser_hourly时段统计表完成字段映射与数据落地生成时段活跃度数据。3.5.10 整体执行与数据校验检查整条工作流所有组件链路、参数配置、字段映射无误后点击执行按钮启动全流程运算。查看运行日志确认所有组件运行成功、无报错、无数据丢失。刷新数据库元数据分别打开browser_coverage、browser_hourly两张结果表预览数据内容。核对统计指标符合业务逻辑数据完整无异常完成本次实验全部数据加工操作。四、实验遇到的问题与解决方法4.1 分组聚合统计结果出错问题问题描述直接使用分组组件统计数据时出现用户数重复统计、聚合数值偏差较大的问题统计结果不符合实际业务情况。解决方法大数据分组聚合的前提是数据有序未排序的混乱数据会导致分组分区错乱。在所有分组组件前新增排序组件按照分组字段升序规整数据同时提前替换空进程名字段规避空值分组异常。优化配置后聚合统计结果精准无误。4.2 大批量数据任务运行卡顿、超时报错问题描述本次实验数据体量较大直接执行聚合、入库任务时工作流运行卡顿严重频繁出现执行超时、任务中断的情况。解决方法进入数据库元数据配置界面勾选“使用结果流”适配大数据量分布式运算场景优化平台数据读取、运算、写入机制降低大批量数据的运算压力。配置完成后工作流可流畅运行无卡顿、超时问题。4.3 字段映射不匹配导致数据入库失败问题描述表输出组件执行入库操作时系统提示字段不匹配、数据写入失败无法落地结构化数据。解决方法工作流临时字段与数据库表字段的名称、数据类型存在细微差异导致映射失败。通过手动逐一匹配流字段与数据库表字段修正不匹配项同时开启“裁剪表”清空历史冗余数据最终成功完成数据入库。五、实验总结本次实验依托助睿在线大数据实验平台完整完成了互联网用户行为半结构化日志的预处理全流程涵盖项目搭建、数据导入、日志解析、结构化转换、数据清洗、字段衍生、多维度聚合、可视化场景筛选、指标落地等核心操作系统性掌握了零代码大数据ETL的实操流程与核心原理有效提升了大数据预处理实操能力。本次实验加工生成的标准化数据集为后续浏览器竞品分析、用户行为画像、用户流失预测、个性化网站推荐等深度数据挖掘实验筑牢了数据基础。同时我也认识到大数据分析的核心价值来源于高质量的数据预处理只有规范、精准、完整的原始数据才能支撑真实、有效的业务分析结论。后续将基于本次实验成果进一步开展多维度用户行为深度分析与AI预测建模实验持续提升大数据分析与挖掘能力。后续我也会持续更新互联网数据分析的相关教程如果有帮助的话希望大家多多点赞关注^ _ ^