`

结合Nokogiri 来对网页转码

 
阅读更多
要把一些网页的内容存到数据库里面
数据库的编码格式是UTF8,而很多页面都是什么gb2312,如是读入必定会出现乱码的情况

Nokogiri可以直接取到页面的编码格式
假设response是获取的网页内容

charset = Nokogiri::HTML(response).meta_encoding


转码的方法可以如下

Nokogiri来转码(他会转成当前代码的编码格式,这个有待于确定)
Nokogiri::HTML(response,nil,charset)


Ruby自带的方法来转码转成utf8
Iconv.iconv(charset.upcase,"UTF-8",response)
分享到:
评论

相关推荐

    网页转码方法和工具

    然而,在某些特定场景下,如资源有限的嵌入式设备或者需要对网页内容进行特定处理时,可能需要将网页内容转成其他形式,例如数组或二进制数据。 "网页转码"这一过程主要包括两个主要环节:解析和转换。首先,解析...

    织梦转码器网页编码

    在日常工作中,熟练掌握网页编码的相关知识和转码工具的使用,对于网页开发者来说至关重要。不仅可以避免因为编码问题导致的乱码,还能提高工作效率,确保网站的兼容性和可读性。因此,对于使用Dreamweaver或其他...

    onvif协议视频转码推流网页播放

    "onvif协议视频转码推流网页播放"涉及到的技术栈主要包括ONVIF协议、RTSP(Real Time Streaming Protocol)、视频转码、RTMP(Real Time Messaging Protocol)推流以及网页播放器JW Player。下面将详细解释这些知识...

    网页编码模板UTF/GBK转码工具 支持文件夹转换

    "网页编码模板UTF/GBK转码工具 支持文件夹转换"是一个专门针对网页编码转换的实用软件,它允许用户批量处理UTF和GBK两种编码格式之间的转换,尤其对处理大量网页文件或文件夹时非常方便。 首先,我们需要理解UTF和...

    七牛云 实时转码demo

    总结来说,七牛云的实时转码服务结合了高效、实时和灵活性的特点,旨在满足在线视频服务的需求。通过将视频转码为m3u8格式,配合qnyplayer播放器,七牛云为开发者和企业提供了便捷、高质量的视频处理方案,帮助他们...

    崇胜云转码系统.zip

    综上所述,崇胜云转码系统是一个全面的解决方案,它结合了先进的转码技术、开源理念、跨平台支持和强大的管理功能,为视频站点提供了稳定、高效的服务。通过深入理解这些关键知识点,用户可以更好地利用该系统提升...

    Unicode字符和汉字相互转换的网页转码实现源码.rar

    下面将详细介绍Unicode与汉字之间的转换以及网页转码的实现。 Unicode是基于一个数字的字符编码系统,每个字符都有一个唯一的数字标识,这个数字被称为码点。它解决了不同字符集间的兼容性问题,使得不同语言的文本...

    c#视频转码工具源码

    总的来说,这个“C#视频转码工具源码”项目为开发者提供了一个实用的起点,可以作为学习视频处理、C#与FFmpeg结合使用,以及UI设计的实践案例。无论是个人项目还是商业应用,这样的工具都有其价值。通过深入研究和...

    视频转码器转码器

    9. **自定义设置**:专业用户可能需要对转码过程进行更精细的控制,如调整编码参数、添加水印、裁剪画面等。好的视频转码器应提供丰富的自定义选项。 10. **在线转码**:除了桌面应用,还有一些云服务提供在线视频...

    x264/ x264转码性能数据

    通过对转码参数的分析,可以了解其对转码性能的影响,并对转码性能进行优化。 5. 添加-re参数对转码性能的影响 添加-re参数可以增加CPU抖动,影响转码性能。通过对添加-re参数的分析,可以了解其对转码性能的影响,...

    url转码,base64等好用转码小工具

    Unicode转码工具可以帮助我们解决由于编码不一致导致的乱码问题,比如在网页显示、文件读写或者跨语言通信中。 压缩包内的"转码工具V1"很可能是一个应用程序或者脚本,提供了用户友好的界面或者命令行接口来执行...

    网页字节集转码解压.exe

    网页字节集转码解压

    GBK与UTF8转码工具支持文件夹转码

    GBK(Chinese Internal Code Specification)是中国大陆广泛使用的多字节字符集,它是GB2312的扩展,兼容GB2312的同时,增加了对繁体字、一些特殊符号以及部分非汉字字符的支持,总共包含了约20902个汉字和符号。...

    南极星转码软件,南极星转码软件

    南极星转码软件

    ffmpeg 音视频转码

    FFmpeg 提供丰富的选项来调整转码参数,例如比特率、分辨率、帧率等。例如,要将视频比特率限制在1000Kbps,可以添加 `-b:v 1000k` 参数。如果需要调整分辨率,可以使用 `-s` 参数,如 `-s 1280x720` 将视频尺寸改为...

    C# .net6.0+FFmpeg对海康摄像机进行m3u8拉流转码

    在本文中,我们将深入探讨...总的来说,C# .NET 6.0结合FFmpeg对海康摄像机的m3u8拉流转码是一项涉及网络编程、多媒体处理和系统优化的复杂任务。通过深入理解这些技术点,我们可以构建出高效、稳定的视频流处理系统。

    针对网络视频应用的视频转码技术综述

    摘 要:对视频转码的技术基础,尤其是3 种典型的体系结构进行了简述和比较,然后讨论了利用从输入视频流 中易于得到的信息,减少计算复杂度和改善视觉质量的方法。同时,对近年来出现的一些热点技术,如信息(包 括...

    最新云转码架构介绍

    比如,利用HEVC(高效视频编码)与DASH(动态自适应流式传输)的结合,可以在保证视频质量的同时,大幅度减少对带宽的需求。而通过VMware等虚拟化技术,可以对转码系统进行有效的资源管理和扩展。 6. 云转码架构的...

    阿里云视频转码java代码

    总的来说,通过阿里云的MPS服务和Java SDK,开发者可以轻松地实现在Java环境中对视频进行转码操作,从而满足各种格式转换和质量优化的需求。需要注意的是,视频转码可能会消耗大量的计算资源,因此在选择模板和配置...

    2020最新云转码(非授权版)全开源一键安装

    总结来说,这个"最新云转码(非授权版)全开源一键安装"项目提供了一个基于宝塔面板的快速部署云转码服务的途径,涉及的技术包括Apache或Nginx、PHP5.6以及MySQL。在实际部署过程中,需要注意调整PHP的配置以启用...

Global site tag (gtag.js) - Google Analytics