cperl-mode: Make timeout test more robust

* test/lisp/progmodes/cperl-mode-tests.el
(cperl-mode-test-bug-10483): Increase the timeout to 2 seconds
and mark the test as expensive.  Also, suppress it for Emacs
versions below 28, where the test times out though the function
works in manual tests.  (Bug#44317)

Simplify some bibtex.el variable definitions

* lisp/textmodes/bibtex.el (bibtex-include-OPTkey)
(bibtex-user-optional-fields, bibtex-BibTeX-entry-alist)
(bibtex-biblatex-entry-alist, bibtex-generate-url-list): Use :risky
tag instead of risky-local-variable property.

(bibtex-entry-format, bibtex-maintain-sorted-entries)
(bibtex-sort-entry-class, bibtex-dialect)
(bibtex-autokey-name-case-convert-function): Use :safe tag instead
of safe-local-variable property.

(bibtex-autokey-name-case-convert-function): Let custom function
default to 'identity', not 'ignore'.

(bibtex-strings, bibtex-reference-keys): Define with defvar-local
instead of defvar+make-variable-buffer-local.

* lisp/reposition.el: Use lexical-binding.

* lisp/progmodes/tcl.el: Better match Tcl string formation rules (bug#39277)

(tcl--word-delimiters): New const.
(tcl--syntax-of-quote): New function.
(tcl-syntax-propertize-function): Use them.
(tcl-mode): Enable `syntax-propertize-multiline`.

* test/manual/indent/tcl.tcl: New file.

Handle several children of PATH in dbus-managed-objects-handler

* lisp/net/dbus.el (dbus-managed-objects-handler): Handle several
children of PATH.  (Bug#44298)

* src/dbusbind.c (xd_signature, xd_append_arg): Check object path.

* test/lisp/net/dbus-tests.el (dbus-test09-get-managed-objects):
Tag it :expensive-test.  Remove superfluous check.

Merge branch 'master' of git.sv.gnu.org:/srv/git/emacs

Fix CUA Mode menu entry to be less confusing

Note that the old text was incorrect; shift-selection is controlled by
the variable shift-select-mode.

* lisp/menu-bar.el (menu-bar-options-menu): Make CUA Mode menu entry
less confusing when cua-enable-cua-keys is nil.  (Bug#43322)

Tweak previous article-treat-ansi-sequences fix

* lisp/gnus/gnus-art.el (article-treat-ansi-sequences): Redo the
previous fix to avoid a compilation warning (bug#44299).

* test/lisp/net/dbus-tests.el (dbus-test09-get-managed-objects): New test.

Don't spill ansi-color across parts in articles

* lisp/gnus/gnus-art.el (article-treat-ansi-sequences): Reset
ansi-color-context-region.  (Bug#44299)

* lisp/bindings.el (narrow-map): Bind C-x n g to goto-line-relative (bug#9917)

Widen buffer before going to point found by xref-find-definitions (bug#44294)

* lisp/progmodes/elisp-mode.el (xref-location-marker): Widen before going
to the found position.

* lisp/progmodes/etags.el (etags-goto-tag-location): Rerun after removing
narrowing.

* lisp/simple.el (goto-line-read-args): Use buffer-narrowed-p.

; * lisp/emacs-lisp/shortdoc.el (regexp): less contrived rx example

Run substitute-command-keys on shortdoc section headings

* lisp/emacs-lisp/shortdoc.el (shortdoc-display-group): Run
substitute-command-keys on section headings before displaying.

Extend the regexp shortdoc group

* lisp/emacs-lisp/shortdoc.el (regexp): New section "Match Data"; add
save-match-data.  New section "The `rx' Structured Regexp Notation".

Document all parameters on `indent-relative'

* doc/lispref/text.texi (Relative Indent): Mention the FIRST-ONLY
parameter (bug#39330).

Disable mml-sec-tests on MacOS

* test/lisp/gnus/mml-sec-tests.el (test-conf): Disable tests on
MacOS (bug#44259).

Display times in a more human-readable way in list-timers

* lisp/emacs-lisp/timer-list.el (list-timers): Format the
intervals in a more human-readable way (bug#39956).

* lisp/net/hmac-def.el: Use lexical-binding.

Adjust python tests after fix for bug#39398

* lisp/net/eudc-vars.el: Use lexical-binding.

; Fix license statement in several files

Add the line "This file is part of GNU Emacs."

Use lexical-binding in netrc.el and add tests

* lisp/net/netrc.el: Use lexical-binding.
(netrc-file): Remove redundant :group arg.
* test/lisp/net/netrc-resources/authinfo:
* test/lisp/net/netrc-resources/services:
* test/lisp/net/netrc-tests.el: New files.

Warn against using the MD4 hash function

* lisp/md4.el (md4): Warn against using it, since its security is
non-existent and it has been declared obsolete.  It should probably
only be used by our NTLM support.  Point users to secure-hash instead.

css--complete-property-value: Limit the backward search

* lisp/textmodes/css-mode.el (css--complete-property-value):
Don't search back when ppss-innermost-start is nil (bug#44214).

Remove Emacs 20 compat code from ede/files.el

* lisp/cedet/ede/files.el (ede--put-inode-dir-hash)
(ede--get-inode-dir-hash, ede-project-directory-remove-hash)
(ede--directory-project-from-hash)
(ede--directory-project-add-description-to-hash): Remove Emacs 20
compat code.

Remove some compat code from feedmail.el

* lisp/mail/feedmail.el (feedmail-message-action-help-blat)
(feedmail-run-the-queue, feedmail-queue-send-edit-prompt-inner)
(feedmail-send-it-immediately): Remove compat code for XEmacs,
Emacs 19 and 20.

Remove some Emacs 20 compat code from speedbar.el

* lisp/speedbar.el (speedbar-easymenu-definition-trailer): Remove
Emacs 20 compat code.

Tweak how `C-c C-r' computes the region in python-mode

* lisp/progmodes/python.el (python-shell-buffer-substring): Don't
extend the region to the start of the line (bug#39398), but allow
sending the actual region as marked.

Make gnus-output-to-rmail appending work better

* lisp/gnus/gnus-util.el (gnus-output-to-rmail): Ensure we have a
blank line before the next line when using mbox format (bug#39580).

Fix intermittent rmail-summary-delete-forward problem

* lisp/mail/rmailsum.el (rmail-summary-delete-forward):
`rmail-delete-message' may apparently clear
`rmail-current-message' sometimes, so save the message number
before deleting (bug#39612).

gdb-mi: use lexical lambdas

* lisp/progmodes/gdb-mi.el (gdb-tooltip-print-1, gud-watch)
(gdb-var-list-children, gdb-edit-value)
(gdb-bind-function-to-buffer, gdb-place-breakpoints)
(gdb-preempt-existing-or-display-buffer):
Expose lambdas to the compiler as lexical closures instead of building
them the old-fashioned way.  Remove #' before lambda.

Remove unused function in gdb-mi.el

* lisp/progmodes/gdb-mi.el (gdb-var-evaluate-expression-handler):
Remove.  (It was left behind in an old code reorganisation.)

Revert "Fontify strings in {} better in tcl-mode"

This reverts commit 7f32224dc324b0ee0f1b512c8d8b19aeb80141c1.

The changes led to things like

    proc foo5 () {
        return 6
    }

being fontified as a string, which is wrong.

Small fix to the new link for inherited faces in Customize

* lisp/cus-edit.el (cus--face-link): Link to the current value of the
widget, rather than to the widget's value upon creation (bug#44154).

gdb-mi: Don't use bindat for field access

Replace uses of bindat-get-field with a simpler accessor,
since nothing here uses the bindat machinery in any way.

* lisp/progmodes/gdb-mi.el (gdb-mi--field): New.
(gdb-get-many-fields): Remove.
(gdb-var-create-handler, gdb-var-list-children-handler)
(gdb-var-update-handler, gdb-current-buffer-frame)
(gdb-update-gud-running, gdb-thread-exited, gdb-thread-selected)
(gdb-running, gdb-stopped, gdb-breakpoints-list-handler-custom)
(gdb-place-breakpoints, gdb-thread-list-handler-custom)
(def-gdb-thread-buffer-simple-command, gdb-select-thread)
(def-gdb-thread-buffer-gud-command, gdb-read-memory-custom)
(gdb-invalidate-disassembly, gdb-disassembly-handler-custom)
(gdb-disassembly-place-breakpoints, gdb-toggle-breakpoint)
(gdb-delete-breakpoint, gdb-goto-breakpoint, gdb-frame-location)
(gdb-stack-list-frames-custom, gdb-select-frame)
(gdb-edit-locals-value, gdb-locals-handler-custom)
(gdb-registers-handler-custom, gdb-changed-registers-handler)
(gdb-register-names-handler, gdb-frame-handler):
Use gdb-mi--field.

Temporarily mark two failing tests
; Persistently failing tests can cause problems for automated builds,
; and make it harder to spot new failures.

* test/lisp/xt-mouse-tests.el (xt-mouse-tracking-basic)
(xt-mouse-tracking-utf-8): Currently failing.

Merge from origin/emacs-27

e0de9f3295 (origin/emacs-27) Don't skip empty lines when fitting mini...
a4ec03fa9b ; * etc/tutorials/TUTORIAL.de: Fix grammar (Bug#44246)
20c02e628c Improve documentation of display-fill-column-indicator
e2005f1f2a * INSTALL: Mention efaq.texi for installation of intlfonts.
71661b2872 Use WebKit sandboxing

# Conflicts:
# etc/NEWS

; Merge from origin/emacs-27

The following commit was skipped:

8b1ccf5e7b Fix tramp-sh-handle-make-process; don't merge with master

Merge from origin/emacs-27

c847d5998f Merge branch 'emacs-27' of git.sv.gnu.org:/srv/git/emacs i...

; Merge from origin/emacs-27

The following commit was skipped:

8101083c7a Fix an error in tramp-sh-handle-make-process.  Dont' merge...

Merge from origin/emacs-27

8b87ea6844 Recommend lexical-binding in Coding Conventions
e29cace60a Avoid rare crashes while producing line numbers

Complete property values in multi-line CSS declarations

* lisp/textmodes/css-mode.el (css--complete-property-value): Complete
property values even when preceded by a newline (bug#44214).

Fix history problem in `M-x shell' when started twice

* lisp/comint.el (comint-input-ring-file-name): Avoid having this
variable being killed on mode restart while the other ring
variables aren't (bug#39667).  This would mean that `M-x
shell'/`C-d'/`M-x shell' didn't save commands entered after the
second `M-x shell'.

ERT: escape control characters in pretty-printed error output

* lisp/emacs-lisp/ert.el (ert--pp-with-indentation-and-newline):
Escape control characters which would otherwise be blasted directly to
the terminal (when running noninteractively) with unpleasant results.

Fix sunrise and sunset calculation (bug#44237)

* lisp/calendar/solar.el (solar-moment): Use initial values for binary
search that won't end the loop prematurely and yield incorrect
answers.
* test/lisp/calendar/solar-tests.el: New file.

Don't rely on bignums in ntlm.el

Since ntlm.el is distributed as a separate package in GNU ELPA and
should be able to run on older Emacs versions without bignums,
we cannot make use of them here.  See discussion at
https://lists.gnu.org/archive/html/emacs-devel/2020-10/msg01665.html.
Instead, we add a small poor man's bignum implementation.

* lisp/net/ntlm.el (ntlm--bignat-of-int, ntlm--bignat-add)
(ntlm--bignat-shift-left, ntlm--bignat-mul-byte, ntlm--bignat-mul)
(ntlm--bignat-of-string, ntlm--bignat-of-digits)
(ntlm--bignat-to-int64): New.
(ntlm--time-to-timestamp): Use the ntlm--bignat- functions instead
of Lisp integers.
* test/lisp/net/ntlm-tests.el: New file.

Make edit-abbrevs parsing less brittle

* lisp/abbrev.el (define-abbrevs): Make the parsing less brittle
-- allow more blank lines (bug#42611).

* lisp/net/sieve-mode.el: Use lexical-binding.

Add a link to inherited faces in Customize

* lisp/cus-edit.el (cus--face-link): New function (bug#44154).
(face): Use the function to format the link.

Don't do compilation-transform-file-match-alist if there's no file name

* lisp/progmodes/compile.el (compilation-error-properties): There
may not be a file name (bug#40111).  In that case, don't do the
`compilation-transform-file-match-alist' thing.

Don't skip empty lines when fitting mini frame to buffer (Bug#44080)

* lisp/window.el (fit-mini-frame-to-buffer,
window--resize-mini-frame, fit-frame-to-buffer,
fit-frame-to-buffer-1): By default, fit a mini frame without skipping its
buffer's leading or trailing empty lines.
* src/frame.c (resize-mini-frames): Update doc-string.
* lisp/cus-start.el (resize-mini-frames): Update for customize.
* doc/lispref/minibuf.texi (resize-mini-frames): Update description.

Don't leak result of nested byte-compilation to outer level

* lisp/emacs-lisp/bytecomp.el (byte-compile-file): Bind
`byte-compiler-error-flag' instead of setting it (bug#41065).
This fixes a problem of "leaking" the flag when compiling
something that then compiles something that errors out (i.e., an
"inner" compile).

Fontify strings in {} better in tcl-mode

* lisp/progmodes/tcl.el (tcl-syntax-propertize-function):
Propertize {} forms after commands as strings (bug#39277).
(tcl-set-font-lock-keywords): Fontify as strings.  This allows
things like puts {"foo} to be fontified correctly.

Copyright-paperwork-exempt: yes

`g' in *Help* doesn't require confirmation

* lisp/help-mode.el (help-mode-revert-buffer): Don't require
confirmation before reverting (bug#44202).  This mimics how most
other non-file reverting functions work.

Define backtab in text fields in eww

* lisp/net/eww.el (eww-text-map):
(eww-textarea-map): Define backtab, as in the main mode map
(bug#44247).

; * etc/NEWS: Fix a recent change.

* lisp/mail/mail-prsvr.el: Use lexical-binding.

* lisp/mail/mail-parse.el: Use lexical-binding.

Allow pcomplete/gzip to complete on files in subdirectories

* lisp/pcmpl-gnu.el (pcmpl-gnu-zipped-files): Allow "gzip" to complete
on files in subdirectories.  (Bug#30271)

Add some missing docstrings in cua-rect.el

* lisp/emulation/cua-rect.el (cua--rectangle)
(cua--last-rectangle, cua--restored-rectangle)
(cua--rectangle-overlays, cua--rectangle-operation)
(cua--tabify-start, cua--tabify-start, cua--insert-rectangle):
Add docstrings, in several cases by converting existing
comments.  (Bug#30085)
(cua--last-killed-rectangle): Update comment.

Use lexical-binding in tool-bar.el

* lisp/tool-bar.el: Use lexical-binding.
(tool-bar-add-item, tool-bar-add-item-from-menu): Quote function
symbols as such.

Don't use obsolete variable write-contents-hooks

* lisp/mh-e/mh-show.el (mh-display-msg):
* lisp/textmodes/rst.el: Don't use obsolete variable
write-contents-hooks.
Problem reported by Stefan Monnier <monnier@iro.umontreal.ca>.

Remove XEmacs compat code from hashcash.el

* lisp/mail/hashcash.el (hashcash-point-at-bol)
(hashcash-point-at-eol): Make obsolete.
(hashcash-token-substring): Don't use the above now obsolete aliases.

Fix an unbound variable in html skeletons

* lisp/skeleton.el (skeleton-internal-list): Fix an unbound
variable in html skeletons (bug#44157).

vc-git-root: Remove unnecessary caching

* lisp/vc/vc-git.el (vc-git-root): Simplify (bug#42966).

; * etc/tutorials/TUTORIAL.de: Fix grammar (Bug#44246)

Make vc-responsible-backend choose the most specific backend

* lisp/vc/vc.el (vc-responsible-backend): Search through all the
VC backends instead of the first one, and choose the one that's
most specific (bug#42966).

Fix time-test error on machines with mail

* test/lisp/time-tests.el (time-tests-display-time-update): There
may be mail on the machine (bug#44241).

Make the -modes variable autoloaded

* lisp/emacs-lisp/easy-mmode.el (define-globalized-minor-mode):
Make the -modes variable be autoloaded.

; * etc/NEWS: Fix a recently-added entry.

Tweak where global-display-fill-column-indicator-modes is on

* lisp/display-fill-column-indicator.el
(global-display-fill-column-indicator-mode): Don't switch on in
special-mode buffers (bug#44232).

Implement a :predicate parameter for globalized minor modes

* doc/lispref/modes.texi (Defining Minor Modes): Describe the new
:predicate keyword (bug#44232).

* lisp/emacs-lisp/easy-mmode.el (define-globalized-minor-mode):
Allow a new :predicate keyword.
(easy-mmode--globalized-predicate-p): New function.

Make delete-selection-helper more resilient

* lisp/delsel.el (delete-selection-helper): Don't bug out on `C-g'
(bug#40357).

Tweak how shortdocs are displayed

* lisp/emacs-lisp/shortdoc.el (shortdoc-example): Removed.
(shortdoc-section): Remove colors.
(shortdoc-separator): New face.
(shortdoc-display-group, shortdoc--display-function): Don't use
background colours, because that makes things harder to read.
Separate with a horizontal line instead.

Merge branch 'master' of git.savannah.gnu.org:/srv/git/emacs

Avoid segfaults due to using fonts that were closed

* src/composite.c (composition_gstring_cache_clear_font): New
function.
* src/composite.h (composition_gstring_cache_clear_font): Add
prototype.
* src/font.c (font_clear_cache): When we are about to close a
font, remove from the gstring cache any lgstring that uses this
font.  (Bug#42943)

Revert "Don't consider play-sound-file to be a 'safe' function (bug#44018)"

This reverts commit cdb3c9d662c772ce25ea4d803eccd2c9e6a6ae99.

Improve documentation of display-fill-column-indicator

* lisp/display-fill-column-indicator.el
(display-fill-column-indicator-mode): Mention the globalized
version in the doc string.

* doc/emacs/display.texi (Displaying Boundaries): Improve and
clarify the documentation of display-fill-column-indicator.
Suggest using the minor mode as the primary means for turning the
feature on.

* src/xdisp.c (syms_of_xdisp) <display-fill-column-indicator>
<display-fill-column-indicator-character>: Doc fix.  (Bug#44226)

Don't consider play-sound-file to be a 'safe' function (bug#44018)

While there are currently no known security holes in play-sound-file,
the attack surface is considerable and historically audio file
processing has had more than its share of security problems; the
benefit to risk ratio is low.

* lisp/emacs-lisp/unsafep.el: Don't mark play-sound-file as safe.

Add section "Replacing Match" to the regexp shortdoc group

* lisp/emacs-lisp/shortdoc.el (regexp): New section "Replacing Match".

Remove some Emacs 19 compat code and references

* lisp/progmodes/sql.el:
* lisp/mh-e/mh-show.el (mh-display-msg): Remove Emacs 19 compat code.
* lisp/emacs-lisp/edebug.el (edebug-mark-marker): Make into
obsolete alias for mark-marker.
(edebug--display-1, edebug-bounce-point)
(edebug-outside-excursion): Adjust callers.
* lisp/net/snmp-mode.el:
* lisp/forms.el: Remove references to Emacs 19.
(forms-use-text-properties): Doc fix.

Improve support for shaping Egyptian Hieroglyphs

* src/composite.c (composition_gstring_lookup_cache): Renamed from
gstring_lookup_cache and made external.  All callers changed.
* src/composite.h (composition_gstring_lookup_cache): Add
prototype.
* src/font.c (Ffont_shape_gstring): Call
composition_gstring_lookup_cache and return the cached composition
if it is already in the cache.

* lisp/language/misc-lang.el (egyptian-shape-grouping): New
function.
(composition-function-table): Use egyptian-shape-grouping in
setting up compositions for Egyptian Hieroglyphs.  Fix the
composition setup for horizontal and vertical joiners.

Better file name in dynvars-check example

* doc/lispref/variables.texi (Converting to Lexical Binding):
Don't suggest an aggregate file name that matches the glob used when
generating it.

Fix syntax error in message-add-openpgp-header

* lisp/gnus/message.el (message-add-openpgp-header): Remove
redundant (and syntactically wrong) check.

Fix problem when replacing the final char in checkdoc

* lisp/emacs-lisp/checkdoc.el (checkdoc-autofix-ask-replace):
Ensure that the end-of-doc-string marker is really at the end,
even if we replace the final " char in the string (bug#44201).

* INSTALL: Mention efaq.texi for installation of intlfonts.

Revert commit 1f44a776729adf9c6468a76f8310616fde62eeaa for XRef.

XRef supports Emacs versions back to Emacs 26.3, so it can’t use newer
functions such as ‘ert-resource-directory’.

* test/lisp/progmodes/xref-tests.el (xref-tests-data-dir): Don’t use
‘ert-resource-directory’

Revert commit 1f44a776729adf9c6468a76f8310616fde62eeaa for Flymake.

Flymake supports all Emacs versions back to 26.1, so it can’t use
‘ert-resource-file’.

* test/lisp/progmodes/flymake-tests.el (flymake-tests-data-directory):
Recreate.
(flymake-tests--call-with-fixture): Stop using ‘ert-resource-file’.

Use WebKit sandboxing

* src/xwidget.c (Fmake_xwidget): Enable sandboxing if WebKit 2.26
or later.  Do this early, as required for sandboxing (Bug#43071).
Co-authored-by: Qiantan Hong <qhong@mit.edu>
Copyright-paperwork-exempt: yes

Add shortdoc group for alist

* lisp/emacs-lisp/shortdoc.el (alist): New shortdoc group.

Add shortdoc group for hash-table

* lisp/emacs-lisp/shortdoc.el (hash-table): New shortdoc group.

Minor doprnt cleanup: remove memchr call

* src/doprnt.c (doprnt): Remove unnecessary call to memchr.

Rename doprnt_nul to doprnt_non_null_end

* src/doprnt.c (doprnt_non_null_end): Rename from doprnt_nul,
as the old name was misleading (left over from a previous proposal).
Caller changed.

Improve doprnt performance

This patch implements some of my suggestions in Bug#8545,
with further changes suggested by Eli Zaretskii (Bug#43439).
* src/doprnt.c: Improve comments.
(SIZE_BOUND_EXTRA): Now at top level, for parse_format_integer.
(parse_format_integer): New static function, containing some of
the old doprnt.  Fix a bug that caused doprnt to infloop on
formats like "%10s" that Emacs does not use.  We could simplify
doprnt further if we dropped support for these never-used formats.
(doprnt_nul): New function.
(doprnt): Use it.  Change doprnt API to exit when either it finds NUL
or reaches the character specified by FORMAT_END.  In the typical case
where FORMAT_END is null, take just one pass over FORMAT, not two.
Assume C99 to make code clearer.  Do not use malloc or alloca to
allocate a copy of the format FMTCPY; instead, use a small fixed-size
array FMTSTAR, and use '*' in that array to represent width and
precision, passing them as separate int arguments.  Use eassume to
pacify GCC in switch statements.

Warn about a bad default value in restricted-sexp widget

* lisp/wid-edit.el (restricted-sexp widget): New :value-to-external
function.  If value is not in the internal format, then we might be
dealing with a bad default value for the widget, so display a warning
about that (bug#25152).

; Prefer https to http in more URLs

These were all tested and confirmed working.

Rework semantics of eldoc-echo-are-use-multiline-p

Per bug#43543.  Now uses logical lines, not visual lines.

* lisp/emacs-lisp/eldoc.el (eldoc-echo-area-use-multiline-p): Rework
semantics.
(eldoc--echo-area-substring): New helper.
(eldoc--echo-area-prefer-doc-buffer-p): New helper.
(eldoc-display-in-echo-area): Rework using new helpers.

Rename ElDoc user option controlling display of truncation notice

The new name makes it consistent with other variables controlling the
display of ElDoc documentation in the echo area.

Per bug#43543.

* etc/NEWS (Eldoc): Rename eldoc-display-truncation-message to
eldoc-echo-area-display-truncation-message.

* lisp/emacs-lisp/eldoc.el
(eldoc-echo-area-display-truncation-message): Rename from
eldoc-display-truncation-message.
(eldoc-display-in-echo-area): Use new variable name.

Rework eldoc-echo-area-prefer-doc-buffer (bug#42532)

* lisp/emacs-lisp/eldoc.el:
(eldoc-echo-area-prefer-doc-buffer): Rename from
eldoc-echo-area-prefer-doc-buffer
(eldoc-display-in-echo-area): Rework to honour
eldoc-echo-area-prefer-doc-buffer.